시각적 개념을 활용해 AI의 미술 작품 스타일 분류 정확도 향상

본교 AI·실감미디어콘텐츠학 김유림 박사과정과 한정엽 교수가 수행한 연구 “Concept-Guided Prediction Refinement for Zero-Shot Style Classification”이 SCIE 국제학술지 IEEE Access에 채택됐다.

최근 CLIP과 같은 비전-언어 모델(Vision-Language Model, VLM)은 특정 분류 과제를 위한 별도의 학습 없이 새로운 범주의 이미지를 인식하는 ‘제로샷(zero-shot) 분류’가 가능해 다양한 분야에서 활용되고 있다. 그러나 미술 작품은 서로 다른 사조에서도 붓질, 색채, 구도 등 시각적 특징이 유사하게 나타날 수 있어 정확한 스타일 분류가 어렵다. 특히 기존 제로샷 방식은 각각의 작품을 독립적으로 분석하기 때문에 작품들이 공유하는 시각적 특징과 관계를 충분히 활용하지 못한다.

연구진은 이러한 한계를 해결하기 위해 Concept-Guided Prediction Refinement(CGPR) 기법을 제안했다. 대규모 언어 모델(LLM)을 활용해 붓질, 색채, 구도, 시각적 모티프 등 미술 스타일을 나타내는 다양한 시각적 개념을 생성하고, 이 가운데 각 스타일을 효과적으로 구별할 수 있는 개념을 선별한다. 이후 이러한 개념을 공유하면서 시각적으로도 유사한 작품 간의 관계를 활용해 AI의 불확실한 예측을 보정한다. 특히 별도의 추가 학습이나 모델 미세조정 없이 기존 비전-언어 모델에 적용할 수 있다는 점이 특징이다. 연구진은 WikiArt와 MultitaskPainting100k 등 두 개의 미술 작품 데이터셋과 CLIP, MetaCLIP, EVA02-CLIP, SigLIP 등 네 종류의 비전-언어 모델을 활용해 성능을 검증했다. 그 결과 모든 데이터셋과 비전-언어 모델에서 기존 제로샷 방식보다 미술 작품 스타일 분류 성능이 일관되게 향상되는 것을 확인했다.

이번 연구는 대규모 언어 모델이 가진 예술 관련 지식을 활용해 각 미술 스타일을 설명하는 시각적 개념을 도출하고, 이를 비전-언어 모델의 작품 분석에 활용했다는 점에서 의미가 있다. 이를 통해 AI가 개별 작품 단위로 스타일을 인식하던 기존 방식에서 나아가, 작품들이 공유하는 시각적 개념과 작품 간 관계까지 함께 활용해 미술 스타일을 보다 정확하게 분류할 수 있도록 했다. 이러한 접근은 예술 분야의 지식과 최신 인공지능 기술을 결합해 미술 작품을 의미 있는 시각적 특성을 중심으로 분석할 수 있는 가능성을 보여준다.

본 연구는 문화체육관광부와 한국콘텐츠진흥원이 지원하는 ‘글로벌 문화기술(CT) 전문인력양성사업’의 일환으로 서울시립대학교 전자전기컴퓨터공학부 엄대호 교수의 공동 연구로 진행되었다.

연구진은 향후 미술 작품의 분류와 검색, 추천, 디지털 미술관 및 문화유산 분석 등으로 연구를 확장하는 한편, 작가 고유의 스타일을 AI가 인식하고 이를 이미지 생성 과정에 반영할 수 있는 실용적인 AI 기반 창작 지원 기술로 발전시킬 계획이다.

영상커뮤니케이션대학원