서울대학교 공과대학(학장 이병호)은 자율로봇지능 연구실(교수 김성우)이 아트센터 나비(관장 노소영)와 공동으로 연구하고 개발한 AI ‘젠이’와 AI 프로젝트 ‘#젠이챌린지’를 공개한다고 19일(금) 밝혔다.

이번 프로젝트는 멀티모달 임베딩(Multimodal Embedding) 인공지능 기술을 적용했으며, 문화체육관광부 및 한국콘텐츠진흥원의 2020년 문화기술연구개발지원사업 ‘문화콘텐츠 R&D 전문인력 양성-예술·과학 융합프로젝트’의 지원으로 진행됐다.

이 프로젝트는 19일부터 온라인 웹사이트를 통해 상시 오픈되며, 20일~21일 서울 종로구 SK 서린빌딩 4층에서 열리는 ‘Party in a Box’ 페스티벌 현장에서 대중에게 최초로 AI 젠이와 AI 프로젝트 #젠이챌린지를 선보인다.

AI 젠이는 작가들이 그린 4컷 만화에서 한 칸이 사라졌다는 가상의 상황을 설정해, 딱딱하고 엄격한 것이라는 AI 창작에 대한 고정관념을 벗어나 친근한 AI 젠이와 함께 스케치를 완성해 나간다는 스토리텔링을 선보인다. 웹 기반 챌린지 형태의 #젠이챌린지로 대중의 참여를 유도한다.

또 AI 젠이는 웹사이트에 접속한 사용자가 입력하는 방대한 정보를 활용해 밑그림을 추천한다. 데이터를 구축하고자 1만여편의 영화에서 AI로 20만장에 달하는 주요 장면 정보를 추출해 주요 구도, 인물 배치, 배경을 스케치화 했다. 웹사이트에 접속한 사용자가 줄거리나 만화 대사 등의 문장을 입력하면 젠이가 적절한 스케치를 제안하며, 이 과정에 멀티모달 임베딩 기술이 사용됐다. 이는 문장과 영상을 같은 벡터 공간에 매핑해 문장과 영상 사이에 변환·번역을 가능하게 하는 기술로, 사용자가 입력한 문장에 가장 관련도가 높은 영상을 접근할 수 있게 해준다.

참석자들은 페스티벌 현장과 웹사이트에서 AI 젠이 도움으로 만든 결과물을 해시태그와 함께 소셜 미디어로 공유해 다른 참여자와 나눌 수 있다. 또 뮤직비디오와 광고 등 여러 영역에서 활발히 활동하며 총 21만여명의 소셜 네트워크 팔로워를 보유한 유명 일러스트레이터 25일, ooo, 리루가 참여해 AI 젠이 및 관객과 함께 작품을 완성한다. 아트센터 나비는 앞으로 참여 일러스트레이터의 작품과 챌린지 참여작 가운데 우수 작품을 담은 소책자를 제작해 배포할 계획이다.

문화 예술이 기술에 목표를 제공하고 신기술이 영감을 제시하는 선순환 구조 아래 아트센터 나비와 서울대학교 공과대학의 연구원들이 시작부터 모든 과정에서 긴밀히 협업했다. 일반적으로 창작자가 영감을 얻고 첫 스케치를 그리기까지 많은 시간이 걸린다는 점에서 착안해, 이를 도울 수 있는 AI 기반 창작 스케폴딩을 제안하고 시연하게 됐다. 아트센터 나비와 서울대학교 공과대학 공동 연구팀은 △웹툰 △영화 △웹소설 제작 시나리오 등 다양한 콘텐츠 영역으로 쓰임을 확장할 수 있도록 꾸준히 공동 연구를 지속할 예정이다.

또 공동 연구팀은 개발한 기술에 관한 13편 이상의 논문을 세계 최고 수준의 국제 학술지와 주요 학술 대회에 발표했으며, ‘문장 기반 스케치 추천 시스템 및 방법’과 ‘그래픽 유사도를 활용한 연속 이미지 검색 시스템’ 등의 관련 기술을 다수 특허화했다.

서울대학교 공학전문대학원 객원교수를 겸하고 있는 노소영 관장은 “한국콘텐츠진흥원 도움으로 공학도와 예술학도가 만나 놀라운 결과물을 만들어냈다”며 “각자의 영역을 배우고 서로 의견을 교환하며 진정한 의미의 융복합 전문 인력이 탄생할 수 있었던 기회였다”고 협업 프로젝트 소감을 밝혔다. 김성우 교수는 “앞으로도 협업을 이어갈 예정”이라며 “AI 기술이 창작의 다양한 영역으로 확장되기를 기대한다”고 말했다.