GPT-4, 사진과 텍스트만으로 '둠' 플레이했다

게임메카

2024.03.12 19:49:08

조회 2130 추천 4 댓글 8

🔼 사전 정보로 GPT-4V에 제공된 둠 스크린샷 샘플 (자료출처: Will GPT-4 Run DOOM? 논문)

[게임메카=김미희 기자] 오픈AI가 개발한 4번째 언어모델 GPT-4가 사전학습 없이도 둠을 부분적으로 플레이할 수 있다는 연구결과가 발표됐다.

이번 연구는 MS 수석 응용 과학자이자 영국 요크대학교 연구원인 아드리안 드 윈터(Adrian de Wynter)가 진행했고, 관련 논문이 8일 비영리 과학 논문 공개 사이트인 아카이브(arxiv)를 통해 공개됐다. 논문 제목은 ‘GPT-4로 둠을 실행할 수 있나요? (Will GPT-4 Run DOOM?)’이며, 학습 없이 스스로 정보를 습득해서 둠을 플레이하는 것은 일부 가능하다고 확인됐다.

연구에서 GPT-4는 몇 가지 지침과 게임 상황에 대한 스크린샷에서 모델 자체에 의해 생성된 텍스트 설명만으로 둠을 플레이했다. 구체적으로 이미지, 음성 등을 분석해 여러 결과물을 얻을 수 있는 GPT-4V를 기반으로 게임 엔진에서 스크린샷을 캡처하고, 상황에 대해 텍스트로 변환해주는 구조를 설계했다. 그리고 앞서 이야기한 부분을 시각적인 정보와 이전 기록을 토대로 결정을 내리는 GPT-4에 결합했다.

이를 토대로 GPT-4는 둠의 첫 번째 에피소드 첫 맵인 격납고(Hangar)를 플레이했다. 그 결과 연구자들은 GPT-4가 길을 찾으며 문을 열고, 무기를 발사하며 적과 싸우는 것을 확인할 수 있었다. 플레이를 반복해서 배우게 하는 강화학습을 거치지 않고 관찰과 자체적인 추론만으로 게임을 하는 것이 가능했고, 프롬프트를 조정해나가면 더 나은 결과를 얻을 수 있다는 것이 연구진들의 의견이다.

🔼 프롬프트를 조정하며 점점 더 결과가 나아지는 것을 확인할 수 있었다 (자료출처: Will GPT-4 Run DOOM? 논문)

다만 이번 실험에서 GPT-4는 스테이지를 클리어하지는 못했다. 이에 대해 연구진은 이번에 설계한 모델은 적으로 등장하는 좀비가 시야 밖으로 사라질 경우 적이 있다는 사실을 종종 잊어버렸다. 인간이라면 적을 추격해 마무리했겠으나, GPT-4는 적의 존재를 잊었기에 이후에 공격을 당하거나 구석에 몰리는 등으로 사망을 맞이했다고 설명했다.

고정닉 0

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	연인과 헤어지고 뒤끝 작렬할 것 같은 스타는?	운영자	24/04/22	-	-
12888	[이구동성] “이번엔 잘 하자"	게임메카	04.14	703	0
12887	파 크라이 6·러스트 등, 스팀 'FPS 할인' 열린다	게임메카	04.14	240	0
12886	파티를 하고 싶어서! '어실되' 반주년 이벤트 시작	게임메카	04.14	410	0
12885	7주년 맞은 브라운더스트, ‘솔로 레이드’ 업데이트	게임메카	04.14	124	0
12884	[오늘의 스팀] 현실 지도 좀비게임 신작 화제	게임메카	04.12	782	0
12883	크툴루 느낌 물씬, 림월드 DLC ‘어노멀리’ 출시	게임메카	04.12	4104	0
12882	고등학교 대항전, FC 하이스쿨 5월에 열린다 [1]	게임메카	04.12	174	0
12881	젠지의 첫 4연속 우승 도전, LCK 결승 주간 돌입	게임메카	04.12	1942	0
12880	인디크래프트, 일러스타 페스에 전시부스 연다	게임메카	04.12	213	0
12879	잡코리아·알바몬·게임잡, 아스달 세력원 모집	게임메카	04.12	163	0
12878	발더스 3, BAFTA 어워드 GOTY까지 싹쓸이	게임메카	04.12	10250	0
12877	8번째 우승, 조성주 '2023 GSL 시즌1' 최종 승리	게임메카	04.12	234	0
12876	18일 출격 P5X, 원작 '페르소나 5'와 컬래버 예고	게임메카	04.12	764	0
12875	가디언 테일즈 스위치 한국어 패키지, 5월 출시	게임메카	04.12	330	0
12874	'바람의나라: 연'에 신규 지역 일본 등장	게임메카	04.12	471	0
12873	오딘, 봄맞이 정예 던전 ‘달보드레 정원’ 개방	게임메카	04.12	158	0
12872	중세 림월드 느낌 신작 '놀랜드' 5월 16일 출시	게임메카	04.12	960	0
12871	[순정남] 보기만 해도 아픈 게임 장면 TOP 5	게임메카	04.12	773	0
12870	배틀필드 2042 시즌 7이 끝, 신작 개발 집중한다	게임메카	04.12	708	0
12869	출시 앞둔 아스달 연대기, 3개 세력 투표 시작	게임메카	04.12	171	0
12868	팰과 함께 PvP를, 팰월드에 '아레나' 추가된다 [43]	게임메카	04.12	5082	14
12867	레드랩 MMO '롬'에 제작 장신구 문양 추가됐다	게임메카	04.12	166	0
12866	데스윙 귀환, 와우 클래식 5월 21일 대격변 온다	게임메카	04.12	230	0
12865	엔씨 TL, 인던 '핏빛 분노의 섬'과 포토 모드 추가	게임메카	04.12	223	0
12864	특별 굿즈 포함, 스타레일X부어치킨 컬래버 예고	게임메카	04.12	850	0
12863	배틀그라운드 맵 '론도'에 지형 파괴 기능 도입	게임메카	04.12	139	0
12862	오버워치 2, 경쟁전 10번 탈주 시 '시즌 아웃' [77]	게임메카	04.12	6251	10
12861	[오늘의 스팀] PvE 중심 타르코프? FPS 신작 출시	게임메카	04.12	1920	0
12860	22대 총선, 게임·e스포츠 관련 의원들 행보는?	게임메카	04.12	1174	0
12859	전작 1,000년 후, 슬레이 더 스파이어 2 내년 출시	게임메카	04.11	1338	0
12858	사용자 간 데이터 전송, 치지직 ‘그리드’ 도입한다	게임메카	04.11	14271	0
12857	과연 뭘 낚을까, 드렛지 실사 영화 나온다	게임메카	04.11	344	0
12856	[순위분석] 출시 22년차 거상의 노련한 돌진	게임메카	04.11	197	0
12855	스팀 진출한 모바일게임, 호평과 혹평 기준은? [2]	게임메카	04.09	3043	1
12854	일본 애니풍 마피아 게임 '인랑' 스팀 출시	게임메카	04.09	766	1
12853	쿠킹덤 팝업 카페 ‘크레페 크래쉬’ 성수에 열린다	게임메카	04.09	294	0
12852	[오늘의 스팀] 헬다이버즈 2, 오토마톤 다음은 뭐?	게임메카	04.09	2799	0
12851	코에이, '상표 무단 사용' 이유로 유주 소송	게임메카	04.09	951	0
12850	유비소프트, 22년 만에 한국 지사 철수한다 [89]	게임메카	04.09	15395	26
12849	[AI야 소녀를 그려줘] 드래곤즈 도그마 2 대참사	게임메카	04.09	3497	0
12848	레이븐2 출시 일정, 18일 쇼케이스에서 발표한다	게임메카	04.09	143	0
12847	한·미·일 인플루언서, 나혼렙으로 한 판 붙는다	게임메카	04.09	421	0
12846	인디게임 축제, BIC 전시작 10일부터 접수 시작	게임메카	04.09	379	0
12845	징크스로 즐기는 뱀서, 롤 신규 PvE 모드 공개	게임메카	04.09	2624	0
12844	페르소나5: 더 팬텀X, 18일 국내 출시 확정	게임메카	04.08	637	0
12843	아스달 연대기, 출시 전 마지막 캐릭터명 선점	게임메카	04.08	206	0
12842	원신 2차 창작물 상영, ‘티바트 영화제’ 13일 개최	게임메카	04.08	340	0
12841	[겜ㅊㅊ] '가짜 광고' 내용을 실제 구현한 게임 5선	게임메카	04.08	717	0
12840	[주간스팀신작] 20만 동접 기록한 '콘텐트 워닝'	게임메카	04.08	662	0
12839	[오늘의 스팀] 배틀 패스 반발, 철권 8 악평 급증	게임메카	04.08	7944	0