엔씨 이제희 CRO "디지털 휴먼 기술이 엔씨의 미래 비전"

게임와이 · 2022.05.16 13:15:22

엔씨소프트가 올해 4월 신규 영입한 이제희 CRO(Chief Research Officer, 최고연구책임자)와의 인터뷰 내용을 공식 블로그와 유튜브를 통해 공개했다. 인터뷰에서는 이제희 CRO가 학자로서 진행해온 연구와 엔씨(NC)에 합류하게 된 배경, 앞으로 나아갈 비전과 목표를 제시했다.

이제희 CRO는 컴퓨터 그래픽스 및 애니메이션 분야 석학으로 2003년부터 서울대학교 컴퓨터공학부 교수로 재직했다. 물리 기반 동작 제어, 데이터 기반 동작 학습 및 생성, 사실적인 인체 모델링 분야에서 세계적 수준의 연구 결과들을 발표했고, 한국컴퓨터그래픽스학회 회장 및 SIGGRAPH Asia 2022 Technical Papers 위원장 등을 역임했다. 2019년에는 세계 최초로 딥러닝 기술을 활용해 사람의 근골격계 움직임을 구현하는 데 성공했다. 2022년 4월 연씨(NC) 최고연구책임자(CRO)로 임명되어 애니메이션 및 AI 연구개발(R&D) 조직을 이끌고 있다.

Q. 서울대학교 컴퓨터공학부 교수로 오랜 기간 재직했다. 주요 연구 분야는 무엇이었는가?

A. 컴퓨터 그래픽스를 전공했다. 어릴 때부터 그림 그리는 것을 좋아했는데 재능이 없었다. 그림 그리는 것을 좋아하지만 재능은 없는 사람은 무엇을 해야 할까 고민하다 컴퓨터 그래픽스를 선택했다. 컴퓨터 그래픽스는 크게 모델링, 렌더링, 애니메이션 3개 분야로 나뉘는데, 나는 초창기부터 애니메이션 분야를 연구한 멤버 중 한 사람이었다.

처음에는 모션 캡처한 데이터로 어떤 새로운 것을 만들 수 있는지를 고민했고, 그 다음에는 두 발로 걷는 사람이 어떻게 넘어지지 않고 균형을 유지하며 걸을 수 있는지를 고민했다. 이후에는 사람의 모델을 깊이 연구하며 해부학적 구조를 파헤치기 시작했다. 뇌에서 시작해 근육과 뼈를 움직이는 시그널을 연구하고, 이를 기반으로 컴퓨터에서 걷고 뛰고 움직이는 복잡한 움직임을 구현했다. 약 30년간 다양한 연구를 수행해왔는데, 그 본질은 결국 '사람이 어떻게 움직이나'라는 주제에 대한 탐구였다.

Q. 딥러닝 등 AI 기술을 활용해 다양한 연구를 진행했다고 들었다.

A. 내가 수행했던 연구 중 사람의 해부학적 구조와 걸음걸이 간의 관계를 학습한 사례가 있다. 사람을 해부학적으로 모델링하여 각 뼈의 길이부터 틀어짐, 근육 하나하나의 길이와 발휘할 수 있는 힘을 전부 풀어내면 파라미터(parameter)가 몇천 차원이 나오는 굉장히 긴 벡터 스페이스(vector space)로 표현할 수 있다.

이때 딥러닝은 그 몇 천 차원과 사람의 걸음걸이 간의 매핑(mapping)을 학습하는 것이다. 오랫동안 수없이 많은 학습 과정을 반복하면 사람의 움직임을 사전 학습한(pretrained) 대형 네트워크를 얻을 수 있다. 이 프리 트레인드 네트워크를 활용하면 머신러닝 전문가가 아니더라도 의사나 재활의학 분야 종사자, 바이오 메카닉스 분야 등에서 무궁무진한 일을 수행할 수 있게 된다.

Q. 애니메이션 기술은 게임에서도 활발하게 연구되고 적용되고 있다. 게임 애니메이션은 어떻게 발전할 것이라고 생각하는가?

A. 앞서 컴퓨터 그래픽스는 크게 3개 분야로 나뉜다고 이야기했는데, 게임에서 모델링과 렌더링 분야는 지난 몇 십년간 꾸준히 새로운 기술을 도입하며 퀄리티가 계속 높아졌다. 반면 애니메이션 분야는 지난 20년간 기술이 크게 진전되지 않았다. 캐릭터를 움직이는 애니메이션은 메인 로직과 직접적으로 연결되어 있기 때문에 한 번 시도했다가 백업하는 것도 불가능하다. 그렇기에 기술적으로 새로운 시도를 하기가 어려웠다.

하지만 딥러닝을 포함한 AI 기술이 발전해서 게임에 적용되는 애니메이션 기술도 큰 변화를 앞두고 있다. 지금은 움직임(motion)을 캡처한 데이터를 애니메이터들이 하나하나 연결해서 움직임을 구현하고 있지만 앞으로는 머신러닝 기술을 통해 데이터를 수집하고 컴퓨터에서 구현하는 일련의 과정을 효율화할 수 있을 것이다. 이제 혁신의 바로 직전까지 도달했다. 그 터닝포인트에서 누가 먼저 도전을 시작하느냐가 문제인데, 내가 엔씨(NC)의 CRO로 온 만큼 엔씨(NC)가 변화를 이끄는 선두 주자(pioneer)가 되지 않을까 생각한다.

이제희 엔씨소프트 최고연구책임자, 사진 = 엔씨소프트 제공

Q. 연구자에서 기업의 최고연구책임자(CRO)로 도전하기까지 많은 고민이 있었을 것 같다.

A. 엔씨(NC)에 갔다고 하면 의외라며 놀라는 주변 사람이 많다. 그동안 내가 수행한 연구가 게임과 관련 없다고 생각하기 때문인 것 같은데, 나는 오히려 관련이 많다고 생각했기에 큰 이질감이 없었다. 연구자로서 학계에서 해볼 수 있는 것들은 다 해봤다고 생각했고 앞으로 새로운 도전을 해보고 싶었기에, 엔씨(NC)로 오겠다고 결정하는 일이 크게 어렵지는 않았다.

Q. 엔씨(NC)의 비전 중에서 어떤 부분에 공감하였는지?

A. 컴퓨터 그래픽스를 공부해온 지난 29년간 나의 꿈이자 화두는 '사람을 어떻게 컴퓨터로 표현하고 재현할 수 있는가'라는 주제였다. 엔씨(NC)의 AI 센터는 내가 연구자로서 가져온 꿈과 동일한 목표를 가진 곳이기에 그 비전에 공감하고 결정을 내릴 수 있었다.

Q. 엔씨(NC)에서는 주로 어떤 업무를 수행할 것인가?

A. 대학 교수로 있을 때보다 할 수 있는 일의 범위가 넓어졌다. 대학 연구실에서는 학문적 배경이 비슷한 사람들이 모여서 연구를 수행했다. 엔씨(NC)는 AI 센터만 하더라도 게임 AI, 스피치 및 비전 AI 등 여러 분야 연구를 수행하고 있고, 그 작업을 연구 레벨에서 하는 사람, 그 연구 결과를 프로듀싱하는 사람 등 다양한 구성원이 모여 있다. 대학에서는 아이디어를 내고 그 가능성을 보여주는 것에 그쳤다면, 엔씨(NC)에서는 여러 사람의 능력과 수없이 많은 아이디어를 모아서 '디지털 휴먼'처럼 하나의 완성된 결과물을 만들어가려고 한다.

Q. R&D 기술의 관점에서 엔씨(NC)의 미래 성장 동력을 확보하는 데 중요한 분야 또는 키워드가 무엇이라고 생각하는지?

A. 게임은 현실을 가상 환경에서 사실적으로 재현하고 그 위에 우리의 창조적 상상력을 덧붙인 세계라고 할 수 있다. 지난 20년 동안 게임에서 중요했던 이슈는 캡처, 스캔 같은 재현 기술을 통해 현실의 세계를 얼마나 사실적으로 모델링하느냐였다. 하지만 앞으로의 20년은 가상 환경에 구축한 현실 세계와 그 위에 덧붙이는 상상력의 세계가 어떻게 상호작용할 수 있을지, 즉 어떻게 '인터랙션'을 모델링하느냐가 중요하다고 생각한다.

이제희 엔씨소프트 최고연구책임자, 사진 = 엔씨소프트 제공

Q. 인터랙션은 게임이 가진 가장 큰 특징이다. 이 말인 즉, 인터랙션이라는 개념이 새롭진 않아 보인다. CRO님이 구현하려는 인터랙션은 무엇인가?

A. 어떤 대상이 단순히 화면 속에만 존재하는 것이 아니라 서로 대화하고 교감하고 물리적으로 상호작용하는 대상이 되고 현실과 상상의 결합이 중요해질 것이다. 인터랙션은 가상과 가상의 존재 간에, 또는 현실과 가상의 존재 간에 일어날 수도 있다. 인터랙션의 본질은 '불확실성'에 대한 자연스러운 반응이다. 예측하지 못한 수많은 변수에 자연스럽게 대응할 수 있는 것, 그것이 엔씨(NC)가 추구하는 인터랙션이다. 그러한 인터랙션을 구현하는 것 자체가 굉장한 일이 될 것이다.

가령 디지털 휴먼은 인터랙션의 정점이라고 할 수 있다. 진정한 의미의 디지털 휴먼은 사람의 외형을 닮고 고정된 화면 속에 존재하는 정도를 넘어서 '나'와 소통할 수 있고 나의 표정을 읽고 반응하며 나를 기억하고 인터랙션할 수 있는 대상이어야 한다고 생각한다.

Q. '디지털 휴먼'은 현재 산업계에서 가장 화두가 되는 키워드이다. 디지털 휴먼을 구현하는 데 가장 중요한 것은 무엇인가?

A. 디지털 휴먼을 구현하기 위해서는 단순히 한두 가지 기술에 집중하기보다는 여러 기술을 유기적으로 연결하는 시스템적 사고방식이 가장 중요하다. 딥러닝, 물리 시뮬레이션, 컴퓨터 비전, 음성 합성, 음성인식, 챗봇 등 다양한 기술을 복합적으로 구성하고 하나의 시스템으로 구축하는 과정이 기술적 도전이 될 것이다. 지난 몇 년 사이에 디지털 휴먼을 만드는 데 필요한 컴포넌트들이 엄청나게 발전했다. 딥러닝 기술이 가져온 영향 덕분이다. 이제는 '나'와 소통하고 교감할 수 있는 디지털 휴먼을 만들 수 있는 세상이 되었다고 믿고 있다.

Q. 엔씨(NC)가 만드는 디지털 휴먼은 어떤 모습일까?

A. 단순히 디지털 휴먼의 상에 대한 담론보다는, 디지털 휴먼 기술 자체가 엔씨(NC) 안에서 시사하는 바가 크다고 생각한다. 드라마를 예시로 든다면 출연하는 배우의 역량이 뛰어날수록 전체적 퀄리티가 높아지고 제작하는 데 드는 비용과 노력이 적어질 것이다. 게임 안의 캐릭터와 게임 간의 관계도 마찬가지다. 한마디로 말해서 고도화한 디지털 휴먼을 만들어낸다는 것은 곧 엔씨(NC)에서 만드는 모든 서비스의 퀄리티가 높아지고 비용과 노력은 절감된다는 것을 의미한다. 디지털 휴먼 기술은 엔씨(NC)의 미래 비전이자 중요한 기반 기술이 될 것이다.

이제희 엔씨소프트 최고연구책임자, 사진 = 엔씨소프트 제공

Q. 게임 콘텐츠의 가능성에 대해서 어떻게 생각하는지?

A. 게임은 앞으로 절대 없어지지 않을 콘텐츠고 우리 사회에 꼭 필요하다고 생각한다. 게임 콘텐츠의 가능성은 무궁무진하다. 엔씨(NC)의 최고연구책임자로서 게임 콘텐츠가 어디까지 확장될 수 있을지를 끊임없이 탐구하고 그 경계를 넓히는 것이 AI 센터의 역할이라고 생각한다.

Q. 그럼 '게임의 한계를 넓히는 역할'이 R&D 조직의 비전인가?

A. R&D 부서는 엉뚱한 일을 벌이는 곳처럼 보이기도 하지만, 결국 궁극적으로는 다른 팀들에 영감(inspiration)을 주는 일을 한다. 단순히 게임 개발 프로세스를 효율화하는 것이 주요 목적은 아니다. 게임 개발 과정에서 가능할 것이라고 생각하지 못한 것을 보여주는 곳, 새로운 비전을 끊임없이 보여주고 개발 부서의 상상력을 한 차원 더 높여주는 역할을 수행하는 곳이 R&D 부서라고 생각한다. 게임 회사들 중에서 R&D 조직을 제대로 유지하고 있는 곳은 별로 없다. 국내 게임 회사들 중에서는 엔씨(NC)가 유일하지 않을까 싶다. 그것이 엔씨(NC)에 오게 된 이유 중 하나이기도 하다.

Q. 그 과정에서 CRO의 역할이 중요해 보인다.

A. 큰 도약을 이루기 위해서는 많은 시행착오를 거듭할 수밖에 없다. 그런 측면에서 R&D 조직에서 일하는 사람들에게 가장 필요한 것은 인내심이다. 도전을 격려하고, 무슨 일이 생겨도 괜찮으니 계속하라고 말해주는 것이 CRO의 임무라고 생각한다. 직원들이 더 길게 더 멀리 볼 수 있도록 여유와 용기를 주는 응원단장 같은 사람이 되려 한다.

이제희 엔씨소프트 최고연구책임자, 사진 = 엔씨소프트 제공

Q. 마지막으로 엔씨(NC)에서 이루고 싶은 목표가 있다면?

A. 서울대학교에서 교수로 재직하며 아쉬웠던 점이 있다면 새로운 아이디어를 내고 연구한 결과가 논문을 내는 단계에서 끝난다는 것이었다. 엔씨(NC)는 그다음 단계까지 마음껏 도전할 수 있다는 점에서 기대하는 바가 크다. 현실의 문제를 해결하고 이로부터 가치를 창출하는 단계까지, 끝까지 가보고 싶다.

▶ 엔씨, 1분기 실적발표후 주가 급상승...최저치 찍고 '방긋'▶ 넥슨 서브브랜드 '민트로켓' 김대훤 총괄 부사장 "제품보다 사람을 믿기로 했다"▶ [플레이엑스포] LCK 역사에 길이남을 외인구단 '락스 타이거즈' 은퇴 인터뷰 ▶ [창간8] 게임와이가 주목한 2022년 기대작 톱8 ▶ [창간8] 대한민국 게임사의 새로운 도전과 의의 ▶ "리니지, 던파, 오딘?" 원스토어 이재환 대표 "톱5 게임 중 2개 입점 논의 중"▶ '소통 행렬' 이어받은 엔씨, 곧 TJ(김택진)도 나온다!▶ "웹 3.0은 C2E 가속화의 발판" 크래프톤 박형철 실장 ▶ [인터뷰] 카카오 기대작 '디스테라' 최현동 기획팀장, "여러 장르 혼합해 진화하는 것이 목표"

번호	제목	글쓴이	작성일	조회	추천
설문	가족과 완벽하게 손절해야 할 것 같은 스타는?	운영자	24/06/24	-	-
1316	[기획] 스토리 들려주는 기자(5) - 디아블로(하) [2]	게임와이	22.05.23	133	4
1315	[리뷰] 16비트 시절의 감성을 느끼게 하는 슈팅 게임 '호기휴' [5]	게임와이	22.05.23	2843	6
1314	[기획] 스토리 들려주는 기자(5) - 디아블로(상) [10]	게임와이	22.05.23	2254	12
1313	20년 전의 추억부터 RTS게임까지...예약으로 '찜'	게임와이	22.05.20	168	0
1312	넷마블, 게임 3종에서 이벤트 및 리메이크 선보인다	게임와이	22.05.20	137	0
1311	'스코넥 13%↑' 바닥 쳤나?...게임주 동반 상승	게임와이	22.05.20	101	0
1310	중국서 만든 '미르2' IP MMORPG '리본: 사북성 결전' 한국 '리턴'	게임와이	22.05.20	205	0
1309	택진이형이 말하는 엔씨 비전은 '메타버스'' [2]	게임와이	22.05.20	218	0
1308	'배그 뉴스테이트'에 영도대교가? '업기'로 더욱 재미있어 진다 [9]	게임와이	22.05.20	2365	6
1307	우주 MMO '이브온라인' 애플 사파리에서도 즐긴다	게임와이	22.05.20	128	0
1306	타노스도 나올까? 마블 카드게임 '마블스냅' CBT 모집 [6]	게임와이	22.05.20	1750	3
1305	'건덕 주목' 건담게임 최신 정보가 쏟아진다...'건담게임페스' [27]	게임와이	22.05.20	2347	6
1304	'대륙 스케일' 천애명월도 '태연' 등 4명 홍보모델 발탁...게임 스토리가 궁금해?	게임와이	22.05.20	118	0
1303	모래 마녀 이멜다가 더욱 게걸스러워진다...'타이니 티나의 원더랜드' 新 DLC 공개	게임와이	22.05.20	111	0
1302	OP.GG, 게임 교육 플랫폼 OGT 인수	게임와이	22.05.20	101	0
1301	조이시티, '건쉽배틀: 크립토 컨플릭트' 티타늄 거래소 추가 [1]	게임와이	22.05.20	122	0
1300	'데스 갬빗: 애프터라이프' 한국어판 스위치 버전 19일 출시	게임와이	22.05.20	89	0
1299	2K, NBA 2K22 시즌 7: '영웅의 귀환' 21일부터 시작	게임와이	22.05.20	75	0
1298	매직더개더링 DNA '로그북' 스위치용 출시	게임와이	22.05.20	88	0
1297	'뱀파이어: 마스커레이드 - 스완송' PCㆍPS 출시	게임와이	22.05.20	86	0
1296	'섬란 닌닌닌자대전 넵튠 -소녀들의 향염' PS4 및 스위치 출시	게임와이	22.05.20	120	1
1295	'보더랜드3'가 무료로 풀렸다!	게임와이	22.05.20	130	0
1294	[MSI] "큰 형" 우승자 간의 대결, MSI서 진검 승부 펼친다 [5]	게임와이	22.05.20	1538	1
1293	'로아' 떠나는 금강선...OST 가사로 마지막 '소통' [59]	게임와이	22.05.19	325	2
1292	'우마무스메' 상륙 초읽기... 또 다른 서브컬처 게임은? [30]	게임와이	22.05.19	4847	26
1291	아시안컵 성료 스마일게이트, 'CFS 인비테이셔널 온라인' 개최	게임와이	22.05.19	85	0
1290	서든어택·메이플스토리 '업데이트'로 글로벌 흥행 굳히기	게임와이	22.05.19	133	0
1289	엔씨, '리니지W'부터 '블소'·'트릭스터M' 등 대규모 업데이트로 유저몰이	게임와이	22.05.19	125	0
1288	넷이즈, 라이브스트리밍 신작 15종 공개...눈에 띄는 타이틀은?	게임와이	22.05.19	95	0
1287	'홈런배틀' 생각나는 해긴 신작 '슈퍼베이스볼 리그'	게임와이	22.05.19	90	0
1286	'들어는 봤나' 500만원대 PC...MSI, 12세대 플래그십 모델 출시 [11]	게임와이	22.05.19	2890	5
1285	페이커 얼굴 걸렸던 타임스퀘어, NFT기업들도 '인증샷'	게임와이	22.05.19	162	0
1284	엑스박스 PC게임패스, 이마트에서도 판다	게임와이	22.05.19	128	0
1283	'모배' 치킨 먹으면 진짜 치킨 준다...'에바'가 등장?	게임와이	22.05.19	106	0
1282	[핸즈온] 어, 리니지M인가?...미르M [12]	게임와이	22.05.19	2360	0
1281	크래프톤, RTS 게임 '로드투발러: 엠파이어스' 예약 [1]	게임와이	22.05.18	123	1
1280	매월 수백개의 게임을 즐기는 구독형 게임 시대…플레이스테이션 서비스 코 앞	게임와이	22.05.18	137	0
1279	유비소프트, 신규 모바일 배틀로얄 게임 테스트 진행 중	게임와이	22.05.18	139	0
1278	[창간8] 게임와이 창간 8주년 기념 축전 및 축사 모음(1)	게임와이	22.05.18	93	2
1277	PC가 좋아 폰이 좋아?...'미르M'이 열린다	게임와이	22.05.18	191	0
1276	저크버그 누나까지...열강 NFT 도미너스게임즈, 편 만들기 '속도'	게임와이	22.05.18	108	0
1275	도시락 왔씨유...야구 게임 3종, 매력적인 이벤트와 콜라보로 '관심'	게임와이	22.05.18	74	0
1274	[MSI] "또, 또 논란" 잡음 끊이지 않는 'MSI'와 'RNG'	게임와이	22.05.18	143	1
1273	스토어 apk 수정 없이, 국내서 P2E 가능한 기술 등장?	게임와이	22.05.18	83	0
1272	엔씨 '블소2' 최초의 월드 필드 '붉은 달 사막' 열렸다	게임와이	22.05.18	79	0
1271	유니아나 '비트매니아 2X 인피니타스' PC버전 6월 출시...비트매니아 대회 성료	게임와이	22.05.18	63	0
1270	'검사'는 직접 서비스 3주년, 모바일 '검사'는 업데이트 '눈길'	게임와이	22.05.18	81	0
1269	22년 1분기 중국 게임 산업 매출 결산...한중일 2021년 매출 비교	게임와이	22.05.18	84	0
1268	2022 게임와이 신작 프리뷰(8) - 우마무스메: 프리티 더비 [14]	게임와이	22.05.17	1954	14
1267	[공략] 악사, 야만?...'디아블로 이모탈' 추천 캐릭터는?	게임와이	22.05.17	151	1

갤러리 검색

최근 방문

즐겨찾기

즐겨찾기 갤러리

게임와이 갤러리

머리말∙꼬리말

머리말∙꼬리말

색상 설정

갤러리 정보

스포일러 경고 설정

제목에서 경고

본문에서 경고

갤러리 이슈박스, 최근방문 갤러리

연관 갤러리

개념글 리스트

차단하기

[게임와이 갤러리]

갤러리 본문 영역

엔씨 이제희 CRO "디지털 휴먼 기술이 엔씨의 미래 비전"

추천 비추천

댓글 영역

① NFT 발행

② NFT 구매

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

페이지 이동

오른쪽 컨텐츠 영역

알림 설정

알림

실시간 베스트

뉴스

디시미디어

디시이슈

개념글[교정직]

디시콘 리스트

디시콘

디시콘 검색결과(0)

인기 디시콘

지갑 연결