RGB–이벤트 융합과 자기지도학습 결합으로 저조도·빠른 움직임 환경에서의 얼굴 특징점 추정 가능성 제시

본교 전자전기공학부 강동우 교수 연구팀의 논문 「Event-Based Facial Keypoint Alignment via Cross-Modal Fusion Attention and Self-Supervised Multi-Event Representation Learning」이 영상처리 및 컴퓨터 비전 분야 국제학술지 IEEE Transactions on Circuits and Systems for Video Technology(TCSVT)에 게재되었다.

IEEE Transactions on Circuits and Systems for Video Technology는 IEEE가 발행하는 영상처리, 컴퓨터 비전 및 멀티미디어 기술 분야의 국제학술지다. 2025 Journal Citation Reports(JCR) 기준 Impact Factor는 10.8이며, Engineering, Electrical & Electronic 분야 369개 학술지 중 13위로 Q1 및 상위 약 3.5%에 해당한다.

이번 연구는 이벤트 카메라(Event Camera)를 활용한 얼굴 키포인트 정렬 기술을 다루었다. 얼굴 키포인트 정렬(Facial Keypoint Alignment)은 눈, 코, 입, 얼굴 윤곽 등 주요 얼굴 특징점의 위치를 정확하게 추정하는 기술로, 얼굴 인식과 표정 분석을 비롯해 증강현실(AR)·가상현실(VR), 운전자 모니터링, 인간-로봇 상호작용 등 다양한 응용 기술의 기반이 된다.

기존 얼굴 키포인트 정렬 기술은 대부분 일반 RGB 카메라 영상을 기반으로 발전해 왔다. 그러나 RGB 카메라는 일정한 간격으로 전체 영상을 촬영하는 방식이기 때문에 조명이 어둡거나 얼굴이 빠르게 움직이는 상황에서는 모션 블러와 영상 품질 저하가 발생할 수 있다. 이로 인해 얼굴 특징점을 안정적으로 추정하는 데 한계가 있었다.

연구팀은 이러한 문제를 해결하기 위해 이벤트 카메라에 주목했다. 이벤트 카메라는 전체 영상을 일정한 시간 간격으로 촬영하는 대신, 각 픽셀에서 밝기 변화가 발생하는 순간을 비동기적으로 감지한다. 이를 통해 빠른 움직임을 높은 시간 해상도로 포착할 수 있으며, 급격한 조명 변화나 저조도 환경에서도 움직임 정보를 효과적으로 획득할 수 있다.

다만 이벤트 카메라는 움직임과 밝기 변화 정보를 중심으로 기록하기 때문에 RGB 영상에 비해 얼굴의 형태와 질감 등 공간적 정보를 충분히 표현하기 어렵다. 또한 얼굴 특징점이 정밀하게 표시된 대규모 이벤트 카메라 데이터셋을 구축하기 어렵다는 점도 이벤트 기반 얼굴 분석 기술의 주요한 제약으로 작용해 왔다.

강동우 교수 연구팀은 이를 해결하기 위해 Cross-Modal Fusion Attention(CMFA)과 Self-Supervised Multi-Event Representation Learning(SSMER)을 결합한 새로운 이벤트 기반 얼굴 키포인트 정렬 프레임워크를 제안했다.

CMFA는 RGB 영상이 제공하는 풍부한 공간 정보를 활용해 이벤트 영상으로부터 보다 안정적인 얼굴 특징을 추출하도록 학습하는 기술이다. 연구팀은 RGB와 이벤트라는 서로 다른 형태의 영상 정보를 단순히 결합하는 데 그치지 않고, 어텐션(Attention) 구조를 활용해 얼굴 특징점 추정에 필요한 정보를 선택적으로 활용할 수 있도록 설계했다.

SSMER는 정답 라벨이 충분하지 않은 이벤트 데이터에서도 효과적으로 얼굴 특징을 학습할 수 있도록 하는 자기지도학습(Self-Supervised Learning) 기법이다. 연구팀은 이벤트 정보를 여러 방식으로 표현하고, 이들 표현 사이의 공통적인 특징을 학습하도록 함으로써 이벤트 영상의 제한적인 공간 정보와 학습 데이터 부족 문제를 보완했다.

연구팀은 실제 이벤트 카메라로 촬영한 E-SIE 데이터셋과 공개 얼굴 데이터셋인 WFLW-V를 기반으로 생성한 합성 이벤트 데이터를 활용해 제안 기술의 성능을 검증했다. 그 결과 다양한 평가 지표에서 기존 이벤트 기반 얼굴 키포인트 정렬 기법보다 일관되게 향상된 성능을 확인했다. 특히 빠른 얼굴 움직임이나 낮은 조도 등 기존 RGB 카메라 기반 기술이 어려움을 겪을 수 있는 환경에서 이벤트 카메라 기반 얼굴 분석 기술의 가능성을 제시했다.

이번 연구는 단순히 이벤트 카메라용 얼굴 분석 모델을 개발하는 것을 넘어, RGB 영상이 가진 공간 정보와 이벤트 카메라가 가진 높은 시간 해상도를 인공지능 학습 과정에서 효과적으로 연결하는 방법을 제안했다는 점에서 의미가 있다. 또한 대규모 라벨 구축이 어려운 이벤트 비전 분야에 자기지도학습을 적용함으로써, 향후 다양한 이벤트 기반 컴퓨터 비전 기술로 확장될 수 있는 가능성을 보여주었다.

강동우 교수는 “기존 얼굴 분석 기술은 대부분 RGB 영상을 중심으로 발전해 왔지만, 빠른 움직임이나 조명이 제한된 환경에서는 여전히 해결해야 할 문제가 존재한다”며 “이번 연구에서는 RGB와 이벤트 카메라의 장점을 함께 활용하면서 이벤트 데이터의 공간 정보와 학습 데이터 부족 문제를 동시에 해결하고자 했다”고 설명했다. 이어 “향후 이벤트 카메라 기반 얼굴 및 시선 분석 기술을 XR 디바이스와 인간-컴퓨터 상호작용 등 실시간 사용자 인식이 필요한 다양한 분야로 확장해 나갈 계획”이라고 밝혔다.

이번 연구는 본교 전자전기공학부 연구진이 단독으로 수행한 연구로, 강동화 석사과정생이 제1저자로, 강동우 교수가 교신저자로 참여했다. 연구 결과는 IEEE Transactions on Circuits and Systems for Video TechnologyVol. 36, No. 8, pp. 12439–12451, August 2026에 게재되었으며, DOI는 10.1109/TCSVT.2026.3679464이다.

특히 제1저자인 강동화 석사과정생은 본교에서 이벤트 카메라 기반 얼굴 분석 및 컴퓨터 비전 연구를 수행하며 본 논문을 포함한 연구 성과를 축적했으며, 이를 바탕으로 2026년 9월 미국 University of Maryland, College Park 박사과정에 진학했다.

이번 논문 게재는 본교 전자전기공학부의 이벤트 카메라, 컴퓨터 비전, XR 기반 실시간 사용자 인식 분야 연구 역량을 국제적으로 인정받은 성과라는 점에서 의미가 크다. 앞으로도 강동우 교수 연구팀이 차세대 비전 센서와 인공지능 기술을 결합한 연구를 통해 관련 분야에서 의미 있는 성과를 이어가기를 기대한다.

논문 제목: Event-Based Facial Keypoint Alignment via Cross-Modal Fusion Attention and Self-Supervised Multi-Event Representation Learning

저자: Donghwa Kang, Junho Kim, Dongwoo Kang

학술지: IEEE Transactions on Circuits and Systems for Video Technology

게재 정보: Vol. 36, No. 8, pp. 12439–12451, August 2026

Impact Factor: 10.8

JCR 순위: Engineering, Electrical & Electronic 분야 13/369, Q1, 상위 약 3.5%

DOI: 10.1109/TCSVT.2026.3679464

주요 키워드: 이벤트 카메라, 얼굴 키포인트 정렬, 크로스모달 융합, 자기지도학습, 컴퓨터 비전, XR

전자전기공학부