Nghiên cứu các kỹ thuật học sâu trong biểu diễn và nhận dạng hoạt động của người từ dữ liệu khung xương
➤ Gửi thông báo lỗi ⚠️ Báo cáo tài liệu vi phạmNội dung chi tiết: Nghiên cứu các kỹ thuật học sâu trong biểu diễn và nhận dạng hoạt động của người từ dữ liệu khung xương
Nghiên cứu các kỹ thuật học sâu trong biểu diễn và nhận dạng hoạt động của người từ dữ liệu khung xương
MINISTRY OF EDUCATION AND TRAININGHANOI UNIVERSITY OF SCIENCE AND TECHNOLOGYPHAM DINH TANA STUDY ON DEEP LEARNING TECHNIQUES FOR HUMAN ACTION REPRESEN Nghiên cứu các kỹ thuật học sâu trong biểu diễn và nhận dạng hoạt động của người từ dữ liệu khung xương NTATION ANDRECOGNITION WITH SKELETON DATADOCTORAL DISSERTATION INCOMPUTER ENGINEERINGHanoi 2022MINISTRY OF EDUCATION AND TRAININGHANOI UNIVERSITY OF SCIENCE AND TECHNOLOGYPHAM DINH TANA STUDY ON DEEP LEARNING TECHNIQUES FOR HUMAN ACTION REPRESENTATIONAND RECOGNITION WITH SKELETON DATAMajor: Computer Nghiên cứu các kỹ thuật học sâu trong biểu diễn và nhận dạng hoạt động của người từ dữ liệu khung xương Engineering Code: 9480106DOCTORAL DISSERTATION INCOMPUTER ENGINEERINGSUPERVISORS:1.Assoc. Prof. Vu Hai2.Assoc. Prof. Le Thi LanHanoi 2022ABSTRACTHumaNghiên cứu các kỹ thuật học sâu trong biểu diễn và nhận dạng hoạt động của người từ dữ liệu khung xương
n action recognition (HAR) from color and depth sensors (RGB-D), especially derived information such as skeleton data, is receiving the research commuMINISTRY OF EDUCATION AND TRAININGHANOI UNIVERSITY OF SCIENCE AND TECHNOLOGYPHAM DINH TANA STUDY ON DEEP LEARNING TECHNIQUES FOR HUMAN ACTION REPRESEN Nghiên cứu các kỹ thuật học sâu trong biểu diễn và nhận dạng hoạt động của người từ dữ liệu khung xương gaming, human-machine interaction, elderly monitoring, and virtual/augmented reality. In addition to the advantages in fast computation, low storage, and immutability with human appearance, skeleton data have shortcomings. The shortcomings include pose estimation errors, skeleton noise in complex a Nghiên cứu các kỹ thuật học sâu trong biểu diễn và nhận dạng hoạt động của người từ dữ liệu khung xương ctions, and incompleteness due to occlusion. Moreover, action recognition remains challenging due to the diversity of human actions, intraclass variatNghiên cứu các kỹ thuật học sâu trong biểu diễn và nhận dạng hoạt động của người từ dữ liệu khung xương
ions, and inter-class similarities. The dissertation focuses on methods to improve the performances of action recognition using the skeleton data. TheMINISTRY OF EDUCATION AND TRAININGHANOI UNIVERSITY OF SCIENCE AND TECHNOLOGYPHAM DINH TANA STUDY ON DEEP LEARNING TECHNIQUES FOR HUMAN ACTION REPRESEN Nghiên cứu các kỹ thuật học sâu trong biểu diễn và nhận dạng hoạt động của người từ dữ liệu khung xương atasets with high-quality skeleton data, CMDFALL - a challenging dataset with noise in skeleton data, and NTU RGB+D - a worldwide benchmark among the large-scale datasets. Therefore, these datasets cover different dataset scales as well as the quality of skeleton data.To overcome the limitations of Nghiên cứu các kỹ thuật học sâu trong biểu diễn và nhận dạng hoạt động của người từ dữ liệu khung xương the skeleton data, the dissertation presents techniques in different approaches. First, as joints have different levels of engagement in each action,Nghiên cứu các kỹ thuật học sâu trong biểu diễn và nhận dạng hoạt động của người từ dữ liệu khung xương
techniques for selecting joints that play an important role in human actions are proposed, including both Preset joint subset selection and automatic MINISTRY OF EDUCATION AND TRAININGHANOI UNIVERSITY OF SCIENCE AND TECHNOLOGYPHAM DINH TANA STUDY ON DEEP LEARNING TECHNIQUES FOR HUMAN ACTION REPRESEN Nghiên cứu các kỹ thuật học sâu trong biểu diễn và nhận dạng hoạt động của người từ dữ liệu khung xương k employs Dynamic Time Warping (DTW) and Fourier Temporal Pyramid (FTP), while the second one applies Covan-ance Descriptors extracted on both joint position and joint velocity. Experimental results show that joint subsect selection helps improve action recognition performance on datasets with noise Nghiên cứu các kỹ thuật học sâu trong biểu diễn và nhận dạng hoạt động của người từ dữ liệu khung xương in skeleton data.However, HAR based on hand-designed features could not exploit the inherent graph structure of the human skeleton. Recent Graph ConvNghiên cứu các kỹ thuật học sâu trong biểu diễn và nhận dạng hoạt động của người từ dữ liệu khung xương
olution Networks (GCNs) are studied to handle these issues. Among GCN models. Attention-enhanced Adaptive Convolutional Network (AAGCN) is used as theMINISTRY OF EDUCATION AND TRAININGHANOI UNIVERSITY OF SCIENCE AND TECHNOLOGYPHAM DINH TANA STUDY ON DEEP LEARNING TECHNIQUES FOR HUMAN ACTION REPRESEN Nghiên cứu các kỹ thuật học sâu trong biểu diễn và nhận dạng hoạt động của người từ dữ liệu khung xương information. Therefore, a Feature Fusion (FF) module is proposed in this dissertation. The new model is named FF-AAGCN. The performance of FF-AAGCN is evaluated on the large-scale dataset NTU-RGBD and CMDFALL. The evaluation results show that the proposed method is robust to noiseHiand invariant to Nghiên cứu các kỹ thuật học sâu trong biểu diễn và nhận dạng hoạt động của người từ dữ liệu khung xương the skeleton translation. Particularly. FF-AAGCN achieves remark-able results on challenging datasets. Finally, as the computing capacity of edge deviNghiên cứu các kỹ thuật học sâu trong biểu diễn và nhận dạng hoạt động của người từ dữ liệu khung xương
ces IS limited, a lightweight deep learning model is expected for application deployment. A lightweight GCN architecture IS proposed to show that the MINISTRY OF EDUCATION AND TRAININGHANOI UNIVERSITY OF SCIENCE AND TECHNOLOGYPHAM DINH TANA STUDY ON DEEP LEARNING TECHNIQUES FOR HUMAN ACTION REPRESEN Nghiên cứu các kỹ thuật học sâu trong biểu diễn và nhận dạng hoạt động của người từ dữ liệu khung xương ation development on edge devices.Hanoi, March 08, 2022Ph.D. StudentivCONTENTSDECLARATION OF AUTHORSHIP................................. iACKNOWLEDGEMENT.......................................... iiABSTRACT.................................................iiiCONTENTS.................................. Nghiên cứu các kỹ thuật học sâu trong biểu diễn và nhận dạng hoạt động của người từ dữ liệu khung xương ............... .MINISTRY OF EDUCATION AND TRAININGHANOI UNIVERSITY OF SCIENCE AND TECHNOLOGYPHAM DINH TANA STUDY ON DEEP LEARNING TECHNIQUES FOR HUMAN ACTION REPRESENMINISTRY OF EDUCATION AND TRAININGHANOI UNIVERSITY OF SCIENCE AND TECHNOLOGYPHAM DINH TANA STUDY ON DEEP LEARNING TECHNIQUES FOR HUMAN ACTION REPRESENGọi ngay
Chat zalo
Facebook