[모두를 위한 인공지능] 6. 인공지능이 만든 딥페이크의 명과 암

IT동아 · 2022.09.10 14:39:06

[IT동아]

[편집자주 / '인공지능(AI)'은 더 이상 SF영화에서나 보던 상상의 기술이 아닙니다. 이미 현실과 실제가 되어, 알게 모르게 우리 일상에 스며들고 있습니다. 이에 인공지능에 관한 보편적 지식은 현대인이라면 누구라도 가볍게 알아 둘 만합니다. 이 연재에서는 인공지능의 역사부터 일상/산업 내 융합, 국내외 인공지능 산업 현황, 인공지능 관련 최신 트렌드, 근미래의 인공지능 융합기술 등, 필자가 오랜 동안 현업에서 얻은 다양한 경험과 지식을 하나씩 독자와 공유합니다.]

1부 - 환갑이 훌쩍 넘은 인공지능의 어제와 오늘 (https://it.donga.com/102301/)

2부 - 인공지능 기술을 활용해 비즈니스 가치를 높여라 (https://it.donga.com/102418/)

3부 - 인공지능 산업/기업을 지원, 육성하기 위해 필요한 것 (https://it.donga.com/102543/)

4부 - 인공지능이 아무리 발전해도 결국 사람의 '경험'이 중요하다 (https://it.donga.com/102629/)

5부 - 우리에게 '데이터'는 어떤 의미인가 (https://it.donga.com/102667/)

딥페이크(Deepfake)란 말을 언론 등을 통해 심심찮게 들었을 테다. 딥페이크란 단어 의미와 같이, 나의 실제를 바꾸거나 왜곡하는 기술 정도로 이해하고 있는 사람이 많은 듯하다. 또한 ‘딥페이크’ 하면 부정적인 이미지를 먼저 떠올리고 그로 인한 부작용이 먼저 부각되어, 딥페이크의 산업적 활용에 대해서는 그만큼 축소되고 있는 것 같다.

먼저 딥페이크는 인공지능 기술 중 하나인 딥러닝 (Deep Learning) 기술이 발전하면서, 이를 이용해 기존 인물의 얼굴이나 특정한 부위를 영화의 컴퓨터 그래픽 처리처럼 합성한 영상편집물을 의미한다.

현재는 고화질 동영상 기반의 얼굴이나 신체부위를 합성하는 단계에서, 음성과 움직임 등의 특징을 살려 합성하는 단계로 발전하고 있다. 이러한 기술 발전으로 이미 여러 분야에서 딥페이크는 인간이 하지 않은 행동과 말이 포함된 행위를 만드는 수준까지 확장 정의되어 있다. 딥페이크 기술은 산업분야에 벌써 널리 쓰이고 있으며, 인간의 작업 효율과 완성도를 높여 부가가치를 높이는데 상당히 기여하고 있다.

인공지능 기술이 발전하면서 콘텐츠 분야에서도 폭 넓게 적용되는 추세다. 디자인을 추천하거나 제품 디자인의 미장센을 제안하는 수준을 넘어, 컴퓨터 그래픽의 특수 효과나 콘텐츠 제작자의 맞춤형 기술로도 발전되고 있다.

3D 캐릭터 합성과 딥페이크 합성 비교 <출처=곽재도>

콘텐츠 제작자가 특정부분을 합성하는 방법으로 고품질의 콘텐츠를 만들려고 한다면, 합성자체를 작업하는 데도 상당한 섬세함과 시간이 필요하다. 여기에 움직임까지 표현돼야 한다면 더욱 어려운 일이 된다. 사람의 얼굴을 가정해 보자.

사람은 얼굴 표정을 만드는데 많은 근육을 사용한다. 일반적으로 얼굴표정을 만드는 근육은 80여 개고, 이중 20개 정도의 근육을 제대로 표현할 수 있어야 자연스러운 표정이 가능하다고 한다. 움직이는 동안 이러한 표현을 자연스럽게 합성하려면 상당한 시간과 노력이 필요한데, 딥페이크 기술을 활용하면 짧은 시간 내에 이런 합성 작업이 간단하게 처리된다. 실제로 인간 표정의 특징을 자동으로 추출하고 표현을 학습하여, 자연스런 합성과 움직임을 구현하는 딥페이크 기술은 이미 상용화되어 시장에서 활용되고 있다.

얼굴 표정 특징을 추출해 증강표현한 합성한 모습 <출처=곽재도>

위의 그림처럼 얼굴 표정을 구현하는 각 특징을 추출해 학습하여 자연스럽게 합성할 수 있는데, 최근 실사 영화화된 디즈니 애니메이션인 ‘라이언 킹’의 컴퓨터 그래픽 처리가 대표적인 사례다.

아래 왼쪽 사진의 아기사자의 표정을 좀더 귀엽게, 털도 좀더 부드럽게 표현되면 좋을 텐데, 딥페이크 기술을 적용하면 인공지능이 더욱 사실적인 귀여움을 구현할 수 있다. 여기에 움직임까지 자연스럽게 추가된다.

CG 합성한 이미지(좌)에 딥페이크를 적용해 사실적 애니(우)를 완성 <출처=곽재도>

인공지능을 학습하려면 인공지능 가속기를 사용하는데, 요즘은 대부분 GPU가 그 기능을 담당한다. 필자가 속한 ‘인공지능산업융합사업단’에서도 국가인공지능데이터센터를 통해 인공지능 융합기업의 인공지능 모델 학습에 필요한 GPU를 인공지능 가속기로 제공하고 있다.

GPU는 원래 컴퓨터 등에서 그래픽 효과를 빠르게 처리하기 위해 만들어진 프로세서다. 때문에 GPU를 활용해 인공지능 기술을 콘텐츠에 적용하는 산업이 빠르게 발전하고 있고, 딥페이크 기술을 좀더 사실적이고 자연스럽게 만드는 데도 결정적인 역할을 하고 있다.

딥페이크 기술은 코로나 대유행 상황에서 전 세계에 걸쳐 더욱 중요하게 사용된다. 얼마 전까지 전 세계 사람들은 한 곳에 많이 모일 수가 없었다. 예를 들어, 오프라인 패션쇼가 불가능해지자 온라인 패션쇼로 전환했다. 온라인이라면 모델이 직접 옷을 갈아 입지 않아도, 모델을 대신해 여러 옷을 입고 런웨이를 워킹할 수 있도록 만들어 주는 것이 딥페이크 기술이다. 유명 브랜드인 발렌시아가 2019년, 인공지능, 정확히는 딥페이크 기술을 활용한 패션쇼를 진행한 바 있다.

인공지능 디자이너의 자동 패션디자인 생성 결과 <출처= 발렌시아가 유튜브 화면 캡처>

딥페이크 기술은 비주얼 구현 및 재생 영역에만 국한되지 않는다. 앞서 언급한 대로, 인간의 행동이나 말을 포함한 행위를 만들어 내는 것까지 그 정의가 확장돼 관련 기술이 개발, 활용되고 있다. 인공지능융합기술이 점차 사람 중심의 기술로 발전하고 있는 것이다.

또 다른 예로, 유명 축구선수 데이비드 베컴이 2019년 4월, 9개 언어로 말라리아 퇴치 캠페인 영상을 만들었다. 베컴이 9개국어로 직접 말한 게 아니라, 하나의 언어로 영상을 만들고, 딥페이크 기술을 적용해 나머지 8개국어로 입모양까지 변환시켜, 마치 베컴이 직접 8개국어로 촬영한 것처럼 만든 것이다.

축구스타 데이비드 베컴이 9개국 언어로 말라리아 퇴치 캠페인을 진행하는 영상 <출처=유튜브 화면 캡처>

이를 활용하면 언어의 변화뿐 아니라 사람의 행동과 언어습관 등을 모사하여, 마치 이미 알고 있는 사람과 자연스럽게 대화하는 상황을 연출할 수도 있다. 이른 바 ‘가상인간(Victual Human)’이 그것이다.

예를 들어, 급작스러운 가족의 죽음을 받아들일 수 없는 유족의 슬픔을 완화하기 위해, 고인을 가상인간으로 만들어, 떠나보내는 이의 슬픔을 치유하는 시간을 갖게 수 있다. 또한, 이미 고인이 된 유명 가수의 공연을 만들어, 예전의 추억을 불러와 추모할 수도 있다.

실제로, 미국 팝스타인 카니예 웨스트는 아내인 킴 카다시안의 40세 생일에 맞춰, 2003년 세상을 떠난 카다시안의 아버지 로버트 카다시안을 재현한 홀로그램을 선물했다. 생일파티 무대에 약 3분여간 홀로그램으로 나타낸 로버트는, 딸에게 "멋지게 자라주었구나"라고 말했다. 또 그가 사망한 지 11년 후에 사위가 된 카니예 웨스트에게 "세계에서 가장 천재적"이라는 덕담을 건네기도 했다.

이렇듯 인공지능은 딥페이크 기술로 다양한 콘텐츠를 만들어 효율적으로 활용하도록 해주지만, 악용의 소지가 다분해 아쉽게도 아직 그리 널리 퍼지지 못하고 있다. 딥페이크라는 단어 자체가 부정적 의미(가짜)인 것도 한 몫 하는 듯하다.

즉, 가짜에 대한 불안감과 공포도 첫 번째 이유다. 진짜와 가짜를 구분할 수 없는 정교한 품질 때문에, 가족으로 위장한 보이스피싱, 본인으로 위장한 SNS 활동, 가짜뉴스 유포를 통한 대중선동, 페이크 포르노그래피를 통한 개인모독 등 공공영역 및 허위정보에 대한 불신감을 조장하는 행위로 이어질 수 있다.

이러한 피해는 실제로 우리나라 여성 연예인이 가장 많이 겪는다. 네덜란드의 사이버 보안연구 회사인 딥트레이스(Deeptrace)가 최근 발간한 보고서 ‘더 스테이트 오브 딥페이크스’(The State of Deepfakes)에 따르면, 딥페이크를 통한 가짜 콘텐츠가 급증하고 있으며, 한류의 영향으로 한국 여성 연예인 피해가 전체 두 번째로 많은 비중을 차지하고 있다. 유튜브에서 가짜 콘텐츠의 무려 96%가 포르노 영상이다. 한국인 유튜브 채널의 비율은 전체 2%에 불과함에도, 딥페이크 영상의 25%가 한국 여성 연예인 피해자다.

출처=딥트레이스 홈페이지

딥페이크 기술이 널리 퍼지지 못하는 두 번째 이유는, 허가/허락받지 않은 콘텐츠를 쉽게 제작할 수 있기 때문이다. 수준의 차이는 있겠지만, 딥페이크를 통한 콘텐츠 제작이 너무 쉽기 때문에, 저작권자의 허락 없이 2차 콘텐츠 제작이 가능하여, 인물의 경우 초상권 침해도 유발할 수 있다. 실제로 미국 버락 오바마 전 대통령을 합성한 딥페이크 영상이 말투까지 똑같이 구현되어, 오바마 대통령이 말한 내용이 정반대로 제작돼 배포됐던 일도 있었다.

결국, 이런 ‘부정적 인식과 악용의 소지를 어떻게 극복하느냐’가 ‘좋은 기술을 어떻게 발전시키고 활용할 수 있는가’의 해답을 찾는 첫 단계라 생각한다.

글 / 인공지능산업융합사업단 곽재도 본부장

미국 뉴욕 소재 로체스터 대학에서 인공지능 분야를 공부한 뒤, 문화체육관광부 문화기술 PD로 재직하며 연구개발 사업을 기획했다. 현재 대통령 소속 지식재산위원회 4,5,6기 전문위원으로 활동 중이며, 인공지능산업융합사업단 소속으로 국가 인공지능 데이터센터를 비롯해 인공지능 산업융합 생태계 조성을 위한 집적단지 조성사업을 추진하고 있다.

정리 / IT동아 이문규 (munch@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)

번호	제목	글쓴이	작성일	조회	추천
설문	연예인 안됐으면 어쩔 뻔, 누가 봐도 천상 연예인은?	운영자	24/06/17	-	-
1891	[먹거리+IT] 버틀 이창언 대표 “채식주의자를 위한 소스를 개발하고 있습니다”	IT동아	22.10.19	110	0
1890	[스타트업in과기대] 헌 신발로 지구를 살린다, 김승재연구소의 ‘새활용’	IT동아	22.10.19	179	0
1889	콘진원, 콘텐츠 업계 거장들의 인사이트 엿볼 자리 마련한다	IT동아	22.10.19	90	0
1888	[리뷰] 최신 기술 한껏 품은 워크스테이션 노트북, 델 프리시전 7670 [4]	IT동아	22.10.19	1243	0
1887	AI 기술로 콘텐츠 도구 편의성 높인 어도비, 3D 분야까지 노린다	IT동아	22.10.19	133	0
1886	[리뷰] 한층 더 가다듬은 완성도와 활용도, 애플 아이폰 14 프로 [12]	IT동아	22.10.18	1547	7
1885	카카오 먹통에 무너진 일상…원인과 전망은? [15]	IT동아	22.10.18	1253	4
1884	부적절한 스마트폰 사용, 아이만의 문제일까? "부모가 변해야 하는 부분도 있어"	IT동아	22.10.18	158	1
1883	[리뷰] 게이머를 위해 태어난 TV? 삼성 2022 Neo QLED 4K [16]	IT동아	22.10.18	2856	6
1882	[스케일업] 프롬차일드 [2] 강재상 대표 “장점 앞세워 단백질 상품 마니아 모아라”	IT동아	22.10.18	76	0
1881	소니·혼다 모빌리티, 日 전기차 구원투수 될까	IT동아	22.10.17	142	0
1880	서울산업진흥원, 오비맥주와 함께 스타트업 성장 지원 나서	IT동아	22.10.17	120	0
1879	[리뷰] 폴더블 노트북 시대를 펼치다, 에이수스 젠북 17 폴드 OLED [11]	IT동아	22.10.17	1307	4
1878	'지포스 RTX 4080 12GB' 안 나온다…초유의 출시 번복, 이유는? [76]	IT동아	22.10.17	6163	2
1877	[주간투자동향] 모놀리, 180 억 원 규모의 시드 투자 유치	IT동아	22.10.17	118	1
1876	[모빌리티 인사이트] 디지털 창문으로 새로운 모빌리티 경험을 만든다, 스마트 윈도우	IT동아	22.10.14	143	0
1875	[뉴스줌인] PWM과 ARGB 데이지체인 기능 더한 앱코 신형 쿨링 팬, 뭐가 다르지?	IT동아	22.10.14	107	0
1874	[메이커X제조창업] ‘서울과학기술대학교의 제조 창업 세미나’에서 말하는 제조업 창업가의 사업 성공 전략 [3]	IT동아	22.10.14	3046	0
1873	‘글로브 박스, 도어트림?’...아리송한 자동차 실내 부위별 명칭 정리	IT동아	22.10.14	100	1
1872	[리뷰] 투톤 배색으로 완성도를 올리다, 카멜마운트 고든 GDA1 디자인 모니터 암 [14]	IT동아	22.10.14	3963	0
1871	[농업이 IT(잇)다] 윌리스빌 “유산균으로 건강한 반려동물 문화 만든다 ” [2]	IT동아	22.10.14	1231	0
1870	[스케일업] 푼타컴퍼니 [2] "브랜딩과 마케팅, 목적은 같습니다" [1]	IT동아	22.10.14	1112	0
1869	아파트 망분리로 '월패드 해킹' 막는다...안정성과 가격 경쟁력 갖춘 보안 솔루션 필요 [2]	IT동아	22.10.13	296	1
1868	[홍기훈의 ESG 금융] ESG와 채권 (5) 채권투자 포트폴리오에 ESG를 반영하는 6가지 방법 Part.1	IT동아	22.10.13	79	1
1867	'AI 화가' 품은 마이크로소프트, 연례행사서 신규 기능 대거 공개	IT동아	22.10.13	150	0
1866	걸어서 정류장 가면 최대 30% 할인…'알뜰교통카드' 신청·활용법	IT동아	22.10.13	162	0
1865	아빠와 사과밭 김재경 대표 “같은 사과? 꼭지와 포장재까지 차별화했다”	IT동아	22.10.13	89	0
1864	32억화소 카메라 'LSST' 제임스 웹 망원경과 함께 우주 신비 푼다 [12]	IT동아	22.10.13	2599	7
1863	삼성전자, 삼성 개발자 콘퍼런스 2022에서 '원 UI 5' 공개 [1]	IT동아	22.10.13	236	0
1862	219만원 차세대 VR기기 공개한 '메타'…메타버스 올인 전략 이어간다 [41]	IT동아	22.10.12	4279	3
1861	[IT하는법] 운전면허 갱신, 인터넷으로도 손쉽게 가능해	IT동아	22.10.12	203	0
1860	[고려대 스타트업 2022] 큐심플러스 “시뮬레이터, 암호통신으로 양자 시대 이끈다”	IT동아	22.10.12	85	0
1859	[시승기] 쿠페와 SUV 매력을 동시에…’아우디 Q5 스포트백’ [3]	IT동아	22.10.12	1300	0
1858	스마트 TV OS 개방한 삼성·LG…하드웨어 아닌 '플랫폼' 확대한다	IT동아	22.10.11	209	2
1857	[디지털콘텐츠로 자녀와 소통하기] 1. 부모는 자녀의 디지털 감시자가 돼야 할까?	IT동아	22.10.11	85	0
1856	[뉴스줌인] 하이브리드 잉크 탑재한 엡손 잉크젯 복합기 3종 이모저모	IT동아	22.10.11	70	0
1855	[스케일업] 레디블룸 [2] 홍승우 인터파크 “유통 채널 입점은 전략과 타이밍 승부”	IT동아	22.10.11	64	0
1854	[주간투자동향] 한국신용데이터, 350억 원 규모의 투자 유치	IT동아	22.10.11	1634	0
1853	더 강화되는 1회용품 규제, 제대로 알아야 낭패 피한다 [20]	IT동아	22.10.07	1717	0
1852	[농업이 IT(잇)다] 어밸브 “농사가 어려우세요? 스마트팜으로 해결하세요"	IT동아	22.10.07	97	0
1851	북경 한복판에 한국기업 전용 공유오피스 '한국창업원' 개원한 고영화 원장	IT동아	22.10.07	129	0
1850	최초의 17형 폴더블 노트북, 그 배경에 인텔·에이수스 협업 빛났다	IT동아	22.10.07	195	0
1849	‘C필러, 펜더?’...아리송한 자동차 외관 부위별 명칭 정리	IT동아	22.10.07	101	0
1848	데이터 판매에 '화들짝' 놀란 이용자들... 마이데이터는 정말로 정보주권을 보장하나?	IT동아	22.10.07	264	0
1847	네이버 웨일 김효 책임리더 "웨일의 궁극적 목표는 기술기반 플랫폼"	IT동아	22.10.07	122	0
1846	[IT신상공개] 구글 '인공지능 스마트폰' 픽셀 7·7 프로의 특징은	IT동아	22.10.06	115	0
1845	[스케일업] 아시안푸드컨넥트 [1] “진입장벽 높은 수출 무역, 플랫폼으로 해결할 수 있습니다”	IT동아	22.10.06	96	0
1844	[리뷰] 다재다능한 비즈니스 노트북, 에이수스 엑스퍼트북 B7 플립 [4]	IT동아	22.10.06	1266	0
1843	[모빌리티 인사이트] 하늘을 나는 오토바이, 내가 가고자 하면 하늘도 길이 된다 [6]	IT동아	22.10.06	1409	1
1842	전동화 물결 탄 전기차 타이어, 특징과 종류는?	IT동아	22.10.06	86	0

최근 방문

즐겨찾기

즐겨찾기 갤러리

갤러리 이슈박스, 최근방문 갤러리

연관 갤러리

개념글 리스트

차단하기

[IT동아 갤러리]

갤러리 본문 영역

추천 비추천

댓글 영역

① NFT 발행

② NFT 구매

파워링크 광고

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

페이지 이동

오른쪽 컨텐츠 영역

알림 설정

알림

디시콘 리스트

디시콘

디시콘 검색결과(0)

인기 디시콘

지갑 연결