Publikation: Optimizing Spatiotemporal Feature Learn...
Stammdaten
Titel: | Optimizing Spatiotemporal Feature Learning in 3D Convolutional Neural Networks With Pooling Blocks |
Untertitel: | |
Kurzfassung: | Image data contain spatial information only, thus making two-dimensional (2D) Convolutional Neural Networks (CNN) ideal for solving image classification problems. On the other hand, video data contain both spatial and temporal information that must be simultaneously analyzed to solve action recognition problems. 3D CNNs are successfully used for these tasks, but they suffer from their extensive inherent parameter set. Increasing the network’s depth, as is common among 2D CNNs, and hence increasing the number of trainable parameters does not provide a good trade-off between accuracy and complexity of the 3D CNN. In this work, we propose Pooling Block (PB) as an enhanced pooling operation for optimizing action recognition by 3D CNNs. PB comprises three kernels of different sizes. The three kernels simultaneously sub-sample feature maps, and the outputs are concatenated into a single output vector. We compare our approach with three benchmark 3D CNNs (C3D, I3D, and Asymmetric 3D CNN) and three datasets (HMDB51, UCF101, and Kinetics 400). Our PB method yields significant improvement in 3D CNN performance with a comparatively small increase in the number of trainable parameters. We further investigate (1) the effect of video frame dimension and (2) the effect of the number of video frames on the performance of 3D CNNs using C3D as the benchmark. |
Schlagworte: | Action recognition, convolutional neural network, optimization. |
Publikationstyp: | Beitrag in Zeitschrift (Autorenschaft) |
Erscheinungsdatum: | 07.05.2021 (Online) |
Erschienen in: |
IEEE Access
IEEE Access
(
IEEE;
)
zur Publikation |
Titel der Serie: | - |
Bandnummer: | 9 |
Heftnummer: | - |
Erstveröffentlichung: | Ja |
Version: | - |
Seite: | S. 70797 - 70805 |
Bild der Titelseite: |
Versionen
Keine Version vorhanden |
Erscheinungsdatum: | 07.05.2021 |
ISBN (e-book): | - |
eISSN: | 2169-3536 |
DOI: | http://dx.doi.org/10.1109/ACCESS.2021.3078295 |
Homepage: | https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9425533 |
Open Access |
|
AutorInnen
Rockson Agyeman (intern) | ||||
Muhammad Rafiq
|
||||
Hyun Kwang Shin
|
||||
Bernhard Rinner (intern) | ||||
Gyu Sang Choi
|
Zuordnung
Organisation | Adresse | ||||
---|---|---|---|---|---|
Fakultät für Technische Wissenschaften
Institut für Vernetzte und Eingebettete Systeme
|
AT - 9020 Klagenfurt am Wörthersee |
Kategorisierung
Sachgebiete | |
Forschungscluster |
|
Zitationsindex |
Informationen zum Zitationsindex: Master Journal List
|
Peer Reviewed |
|
Publikationsfokus |
Klassifikationsraster der zugeordneten Organisationseinheiten:
|
Arbeitsgruppen |
|
Kooperationen
Organisation | Adresse | ||
---|---|---|---|
Yeungnam University
|
KR - 38541 Gyeongsan-si |
Forschungsaktivitäten
(Achtung: Externe Aktivitäten werden im Suchergebnis nicht mitangezeigt)
Projekte: | Keine verknüpften Projekte vorhanden |
Publikationen: | Keine verknüpften Publikationen vorhanden |
Veranstaltungen: | Keine verknüpften Veranstaltung vorhanden |
Vorträge: | Keine verknüpften Vorträge vorhanden |