[발표] 어텐션 기반 SSD 네트워크를 통한 장거리 손 제스처 인식 ICRA 2021

목차

1. 소개
2. 동기
3. 문제
4. 연구
5. 데이터셋
6. 모델
7. 결과
8. 성능 비교
9. 추가 혜택
10. 결론

🌟 소개

안녕하세요! 중국 홍콩 과학기술 대학교의 박사 후보인 라이 광저우입니다. 저는 인공지능 및 로봇 기술과 관련하여 데이터 분석 및 인식에 참여하고 있습니다. 오늘은 '주목 기반 SSD 네트워크를 통한 원격 손 제스처 인식'에 대해 발표를 진행하려고 합니다. 아래에서 자세한 내용을 확인해보세요.

🌟 동기

손 제스처는 사람들이 기기와 상호작용하는 데 중요한 역할을 합니다. 현재 손 제스처 인식은 주로 가까운 거리에서 이루어지고 있지만, 긴 거리에서도 가능한지에 대한 의문이 있었습니다. 이 문제를 해결하기 위해 주목 기반 SSD 네트워크를 활용하여 원격 손 제스처 인식을 수행하고자 합니다.

🌟 문제

지금까지 손 제스처 인식 기술은 주로 0.5미터 이내의 짧은 거리에서 진행되어 왔습니다. 하지만 이러한 제한된 거리에서만 제스처를 인식할 수 있는 문제가 있었습니다. 따라서 더 멀리 있는 사람과 기기 간 상호작용이 가능한지에 대한 새로운 질문이 제기되었습니다.

🌟 연구

먼저, 저희 연구팀은 해당 주제와 관련된 선행 연구를 조사하여 문제 해결 방안을 모색했습니다. 이 연구들은 손 제스처 인식에 초점을 맞추고 있으며, 해당 분야에서 여러 논문이 발표되었습니다. 그중에서도 특히 두 가지 논문이 눈에 띄었습니다. 첫 번째는 사람들이 손을 들어 올려 4개의 제스처를 전달하는 논문이었고, 두 번째는 손 제스처를 통해 로봇에게 숫자를 전달하는 논문이었습니다. 하지만 이 두 연구 모두 제스처 인식 거리에 제한이 있었습니다.

이 문제를 해결하기 위해 저희는 American Sign Language (ASL) 인식을 위한 데이터셋을 활용했습니다. 해당 데이터셋은 USB 카메라 앞에서 제한된 거리에서 ASL 제스처를 수행하는 사람의 영상을 포함하고 있었습니다. 이 데이터셋을 활용하여 제스처 인식 능력을 확장하기 위해 다양한 거리에서 제스처를 수행하는 새로운 데이터셋을 구축했습니다. 이 데이터셋은 연구 목적으로 웹사이트에서 내려받을 수 있습니다.

또한, 저희는 작은 사이즈의 손 제스처를 인식하기 위해 SSD 네트워크를 활용했습니다. 이전 연구에서 SSD가 작은 객체 인식에 더 효과적이라는 결과를 얻었기 때문입니다. 저희는 기존의 SSD 네트워크에 BOM (Bona-Fide Objectness Module) 모듈을 적용하여 손 제스처의 위치를 더욱 정확하게 인식할 수 있도록 개선했습니다.

🌟 데이터셋

우리는 다양한 거리에서 손 제스처를 수행하는 8명의 참여자를 포함한 데이터셋을 구축했습니다. 각 참여자는 여러 제스처를 2m부터 7m까지의 거리에서 수행하였습니다. 이 데이터셋은 연구 목적으로 웹사이트에서 내려받을 수 있습니다. 또한, 우리는 손 제스처의 크기에 따라 두 가지 하위 데이터셋을 만들었습니다. 작은 사이즈의 손 제스처를 위한 "Tiny HAND" 데이터셋과 중간 사이즈의 손 제스처를 위한 "Median Hand" 데이터셋입니다.

참고로, ASL 데이터셋은 손 제스처의 크기에 따라 영역을 바탕으로 분류되었습니다. 손 제스처 영역의 크기를 기반으로 분류한 영역은 작은 사이즈 대상은 200~1000, 중간 사이즈 대상은 1000~4000, ASL 데이터셋은 5000~20000입니다.

🌟 모델

우리 연구팀은 기존의 SSD 네트워크에 BOM (Bona-Fide Objectness Module) 모듈을 적용한 "BOM SSD" 네트워크를 제안합니다. BOM 모듈은 채널 어텐션 블록과 함께 채널 차원을 기반으로 어텐션을 개선하여 특징 맵을 다듬습니다. 이를 통해 손 제스처의 위치를 보다 정확하게 인식할 수 있도록 하였습니다. 실험 결과, BOM SSD 네트워크는 기존의 SSD에 비해 원격 손 제스처 인식에서 우수한 성능을 보였습니다.

🌟 결과

저희 제안하는 방법은 원격 손 제스처 인식, 짧은 거리의 손 제스처 인식 및 다양한 거리의 손 제스처 인식에서 놀라운 성능을 보였습니다. 실험 결과를 통해 우리의 방법이 기존의 SSD보다 훨씬 우수함을 확인할 수 있었습니다. 또한, BOM SSD는 동일한 데이터셋에서 SSD와 비슷한 파라미터 수로 더 좋은 성능을 보였습니다. 따라서 우리의 제안 방법이 효과적임을 입증하였습니다.

🌟 성능 비교

우리 연구는 다른 손 제스처 인식 시스템과 비교하여 우수성을 입증하였습니다. 이는 작은 손 제스처와 중간 손 제스처에 대한 성능을 모두 고려한 것입니다. 실험 결과, 우리의 방법은 기존 방법들에 비해 현저한 향상을 보였습니다.

🌟 추가 혜택

우리의 손 제스처 인식 시스템은 다른 시스템에 비해 여러 가지 이점을 가지고 있습니다. 첫째, 작은 손 제스처의 인식과 같이 손 제스처를 작은 크기에서 인식할 수 있습니다. 둘째, 실제로 7m까지 손 제스처를 인식할 수 있으며, 이는 기존 시스템들과 비교했을 때 상당한 향상입니다. 마지막으로, 우리의 시스템은 빠른 속도에 도달하여 실시간으로 손 제스처를 인식할 수 있습니다.

🌟 결론

우리는 원격 손 제스처 인식 문제를 성공적으로 해결하기 위해 주목 기반 SSD 네트워크를 제안하였습니다. 실험 결과로써, 우리의 방법이 다른 메소드에 비해 뛰어난 성능을 보임을 입증하였습니다. 또한, 우리의 시스템은 작은 크기와 긴 거리에서의 손 제스처 인식에서도 효과적으로 작동함을 확인하였습니다. 끝으로, 우리는 초보자를 위한 American Sign Language 학습을 위한 응용 프로그램 개발에도 성공하였습니다.

FAQ

Q: 이 연구에서 사용된 데이터셋은 어디에서 얻을 수 있을까요?

A: 우리는 연구 목적으로 데이터셋을 웹사이트에서 내려받을 수 있도록 준비했습니다. 상세한 내용은 저희 웹사이트를 참조해주세요.

Q: BOM SSD 모델은 얼마나 빠른 속도로 손 제스처를 인식할 수 있을까요?

A: BOM SSD 모델은 최대 28.3 프레임/초의 속도로 손 제스처를 인식할 수 있습니다.

Q: 이 연구에서 제시된 방법은 모든 종류의 손 제스처에 적용 가능한가요?

A: 네, 저희의 방법은 다양한 종류의 손 제스처에 적용할 수 있습니다. 우리는 작은 손 제스처와 중간 손 제스처 모두에서 뛰어난 성능을 보였습니다.

리소스

• American Sign Language (ASL) 데이터셋: [링크]()
• BOM SSD 네트워크 코드: [링크]()
• 응용 프로그램 다운로드: [링크]()