동영상 만드는 인공지능 ‘런웨이 GEN-2’의 실력은?

IT동아

2023.03.22 09:33:50

조회 1228 추천 2 댓글 4

[IT동아 차주경 기자] 달리 2(DALL-E 2)와 스테이블 디퓨전(Stable Diffusion), 미드저니(Midjourney) 등 사람이 입력한 문장의 내용을 사진이나 그림으로 만드는 인공지능은 세계에 큰 반향을 일으켰다. 나아가 사람이 입력한 문장의 내용을 동영상으로 만드는 인공지능이 등장했다. 런웨이(Runway) GEN-2다.

런웨이 GEN-2의 동작 원리는 다중 모달(Multi Modal, 다양한 수단과 방식을 써서 정보를 주고 받는 구조)이다. 먼저 풍부한 분량의 사진과 동영상 데이터를 분석하고 기억한다. 사람이 문장이나 사진, 동영상을 입력하면 내용을 분석하고 기존 데이터를 참고해 알맞은 내용을 창작하는 원리다.

런웨이 GEN-2가 사람이 입력한 문장, 사진을 토대로 만든 동영상. 출처 = 런웨이 연구 블로그

덕분에, 이 인공지능은 사람이 입력한 문장의 내용을 고스란히 동영상으로 만든다. 문장과 사진을 함께 입력해도 동영상을 만든다. 위 예제 사진은 한 남자의 인물 사진(왼쪽위 )과 함께 ‘거리를 걷는 남자를 로우앵글로, 배경에는 네온사인 조명’이라는 문장(왼쪽 아래)을 입력한 결과(오른쪽)다.

런웨이 GEN-2가 사람이 입력한 사진, 동영상을 토대로 만든 새로운 동영상. 출처 = 런웨이 연구 블로그

사람이 입력한 사진을 동영상으로 만드는 능력, 원본 동영상의 피사체와 배경에 임의의 사진을 합성해 새로운 동영상을 만드는 능력도 갖췄다. 위 예제 사진은 현실 세계에서 남성이 춤을 추는 동영상(왼쪽)에 게임 속 캐릭터의 사진(가운데)을 합성, 동영상의 느낌을 게임처럼 바꾼(오른쪽) 사례다.

런웨이 GEN-2가 사람이 입력한 문장을 토대로 만든 기존 동영상을 수정한 사례. 출처 = 런웨이 연구 블로그

문장을 입력해서 동영상 속 피사체의 일부 요소만 제거하거나 수정하는 것, 동영상의 느낌을 실사나 애니메이션 화풍으로 조절하는 것도 가능하다. 위 예제 사진은 개가 산책하는 동영상(왼쪽 위)에 ‘흰 털에 검은 반점이 있는 개’라는 문장(왼쪽 아래)을 입력해서 동영상 속 개의 모습을 바꾼 사례(오른쪽)다. 기초 수준의 3D 모델링을 실제 피사체처럼 바꿔 동영상으로 만드는 능력도 가졌다. 런웨이의 연구 블로그에서 위 사례들의 동영상을 확인 가능하다.

아직 한계는 있다. 런웨이 GEN-2로 만든 동영상은 해상도와 선명도가 낮고 프레임 수도 적다. 그래서 화면 속 피사체의 모습은 거칠고 움직임도 뚝뚝 끊기는 듯한 모습을 보인다. 동영상 결과물의 길이도 아직은 4초 남짓으로 짧다.

하지만, 런웨이는 2022년 9월 이 기술의 개념을 공개한 후 불과 반 년여 만에 GEN-2를 선보였다. 사진이나 그림을 만드는 인공지능의 발전 속도를 고려하면, 이 기술 역시 단시간에 크게 발전해 실제 동영상 수준의 결과물을 만들 것으로 기대한다.

런웨이는 다중 모델 인공지능 기술을 더욱 고도화, GEN-2의 성능을 강화할 예정이라고 밝혔다. 단, 이 기술은 아직 일반 소비자나 기업이 임의로 활용할 수 없다.

글 / IT동아 차주경(racingcar@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)

▶ 사무실 AI 혁명 일어나나…마이크로소프트, GPT4 품은 오피스 공개 ▶ GPT-4, 사진 알아보고 변호사·대입 시험 성적도 우수 ▶ [스타트업-ing] 드랩 “쇼핑몰 상품 사진, AI로 순식간에 만들 수 있습니다”

고정닉 0

원본 첨부파일 3본문 이미지 다운로드

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	SNS로 싸우면 절대 안 질 것 같은 고집 있는 스타는?	운영자	24/05/06	-	-
2584	[농업이 IT(잇)다] 핀치그린 “고압 에어로포닉스·기능성 식물소재 전파” [1]	IT동아	23.04.21	170	0
2583	중앙대 인간로봇융합연구센터, 육상선수와 함께 로봇슈트 검증 나선다 [1]	IT동아	23.04.21	168	0
2582	이륙 4분 만에 폭발한 스페이스X '스타십'··· 터졌는데도 '성공'인 이유는? [15]	IT동아	23.04.21	2313	14
2581	외국인용 지마켓, 11번가도 있어? ‘역직구’ 사업 이모저모[K비즈니스 가이드] [1]	IT동아	23.04.20	1052	0
2580	오라클 “의사결정에 어려움 겪는 기업들, ‘데이터 폭격’이 원인” [1]	IT동아	23.04.19	160	0
2579	[WIS 2023] 일상을 바꾸는 최신 ICT 트렌드와 기술, 스타트업까지 모였다 [1]	IT동아	23.04.19	315	0
2578	누누티비 사태, OTT 업계 “범죄 대응체계와 처벌 강화해야” [28]	IT동아	23.04.19	4689	17
2577	[고려대 초창패 2022] 반암주식회사 “박막형 반도체 시장 주도” [1]	IT동아	23.04.19	149	0
2576	[IT신상공개] 디카만큼 화질 좋은 스마트폰, 샤오미 13 울트라 [10]	IT동아	23.04.19	653	2
2575	효율성 겸비 친환경 포장재가 대세, 제17회 대한민국 패키징 대전 [1]	IT동아	23.04.18	139	0
2574	[농업+IT=스마트팜] 5. 환경 데이터 수집용 센서 구축하기 (2) [1]	IT동아	23.04.18	147	0
2573	[디지털 취약 극복] 리보 “세계 시각장애인 위한 스마트폰 도우미”	IT동아	23.04.18	838	1
2572	중앙대학교 인간로봇융합연구센터 김우석 사무국장 “연구센터 운영에도 융합이 중요”	IT동아	23.04.17	89	0
2571	[IT애정남] 재개된 해외여행, 배터리 기내 반입 알려주세요!	IT동아	23.04.17	1030	0
2570	카카오톡 사용으로 저장공간이 부족할 땐 이렇게![이럴땐 이렇게!] [5]	IT동아	23.04.17	2580	7
2569	[주간투자동향] 넛지헬스케어, 300억 원 규모 투자 유치	IT동아	23.04.17	98	0
2568	[IT강의실] 흑백 사진만 찍는 ‘모노크롬’ 카메라, 무엇이 특별한가? [2]	IT동아	23.04.17	1872	6
2567	[농업이 IT(잇)다] 뉴로팩 “업사이클링 친환경·기능성 포장재 세계로”	IT동아	23.04.14	92	0
2566	[IT신상공개] 35mm 8K 영상 담는 드론, DJI 인스파이어 3 [12]	IT동아	23.04.14	1206	2
2565	IT운영전문가가 본 인포플라의 ‘웹장애 모니터링’[스타트업 리뷰]	IT동아	23.04.13	104	0
2564	[앱으리띵] 내 마음대로 고르는 건설 일자리, 웍스메이트 가다 [1]	IT동아	23.04.13	215	1
2563	엔비디아, 지포스 RTX 4070 출시… '10GB 아닌 12GB 메모리 탑재' [16]	IT동아	23.04.13	2102	2
2562	상상력을 현실로 바꾸는 ‘딥테크’, 정부도 인재 양성에 팔 걷어	IT동아	23.04.12	150	0
2561	직접 체험할 수 있는 프로 오디오 장비, 기어라운지 쇼룸 [1]	IT동아	23.04.12	1138	0
2560	유튜브 프리미엄 구독자, 다섯 가지 혜택 받는다 [8]	IT동아	23.04.12	1568	3
2559	[리뷰] USB에 꽂아 쓰는 와이파이6E 어댑터, 넷기어 나이트호크 A8000	IT동아	23.04.11	150	0
2558	마드라스체크, SaaS 페스타 'Flower 2023' 개최… '디지털 전환의 현주소 만난다'	IT동아	23.04.11	158	0
2557	이통 3사, 새로운 중간요금제 나온다 … 걸림돌은 가격 [6]	IT동아	23.04.11	1447	0
2556	[IT신상공개] ‘미키 마우스’ 옷 입은 955만원짜리 라이카 Q2 한정판, 발표하자마자 매진? [3]	IT동아	23.04.10	1475	0
2555	[IT애정남] 내비게이션의 스쿨존 우회 기능에 대해 알려주세요	IT동아	23.04.10	202	0
2554	[마인드테크 시대가 온다] 4. 상담테크, 치유의 동반자	IT동아	23.04.10	128	0
2553	스마트폰 저장공간이 부족할 땐 이렇게![이럴땐 이렇게!] [4]	IT동아	23.04.10	2052	3
2552	물류의 변화, 도심 속으로 들어 온 물류거점	IT동아	23.04.10	1563	1
2551	[뉴스줌인] DDR5 지원하는 기가바이트의 H610 메인보드 출시, 쓸 만할까?	IT동아	23.04.08	123	0
2550	AI로 악플잡는 네이버·카카오, 남은 과제는? [55]	IT동아	23.04.07	4322	5
2549	KISA, 실생활 서비스로 블록체인 대중화 노린다	IT동아	23.04.07	97	0
2548	[농업이 IT(잇)다] 신성랩메디컬 “소재가 힘, 나노콜라겐을 세계로”	IT동아	23.04.07	84	0
2547	강화하는 스마트폰-PC 연결성, 왜 기업들은 지금 '연결성' 기능을 내는가? [5]	IT동아	23.04.07	1707	2
2546	AMD 자일링스, ASIC 기반 알베오 미디어 가속기 'MA35D' 공개	IT동아	23.04.06	85	0
2545	[리뷰] ‘진짜’ 미국 선생님들 수업이 한가득, ‘아웃스쿨’	IT동아	23.04.06	125	0
2544	지금 지원할 수 있는 예비 창업자 프로그램	IT동아	23.04.06	337	0
2543	공공배달앱 대부분이 외면받아… 업계 “홍보·수익방안 마련해야” [24]	IT동아	23.04.06	1774	5
2542	[리뷰] AMD 라이젠 7 7800X3D 써보니··· '게이밍에선 16코어 CPU도 넘어서' [6]	IT동아	23.04.05	1195	0
2541	델 테크놀로지스, 2023 기업용 신제품 공개... "국내 PC 시장 3위 목표"	IT동아	23.04.05	208	0
2540	[스타트업-ing] 엑스온 장원익 대표, “버추얼 스튜디오가 가져 온 변화” [2]	IT동아	23.04.05	814	0
2539	카산도 “인공지능·스마트 프랜차이즈 될 것”	IT동아	23.04.05	103	0
2538	[IT신상공개] S10급 성능의 보급형 스마트폰? 갤럭시 A34, 살 만할까? [27]	IT동아	23.04.04	2459	4
2537	스타트업 창업 전 알아야 할 투자 라운드 특징	IT동아	23.04.04	166	0
2536	인기 인공지능 서비스 연이어 중단, 업계 “자정할 것” [15]	IT동아	23.04.04	2289	3
2535	[뉴스줌인] 실속형 PC용 보급형 메인보드 칩셋, 'AMD A620' 이모저모 [7]	IT동아	23.04.03	1762	1