대화형 인공지능 구현을 위한 기반, 대형 언어 모델(LLM)이란?

IT동아 · 2023.10.04 17:48:54

[IT동아 남시현 기자] GPT는 사전 학습된 생성형 트랜스포머(Generative Pre-trained Transformer)의 약자다. GPT 등장 이전에는 생성적 사전 훈련(GP)이라는 말이 쓰였는데, 2018년 오픈AI가 GPT-1을 공개하면서 GPT로 쓰이기 시작했다. GPT는 데이터를 사전에 훈련해 둔 다음 제공하는 방식을 활용함으로써 대량의 데이터를 기반으로도 빠르게 대답을 내놓을 수 있는 게 특징이다. 이 방식이 챗GPT에 적용되면서 GPT는 인공지능 업계에서 대명사처럼 쓰이기 시작한다.

출처=셔터스톡

하지만 올해 4월, 오픈AI는 가이드라인을 통해 특정 서비스 명에 GPT라는 이름을 붙일 수 없게 하겠다고 발표했다. GPT라는 개념 자체가 널리 퍼지자 상표권을 행사하겠다는 취지다. 언어 모델 개발사는 GPT라는 이름을 그대로 쓸 수 없고, GPT로 개발된, GPT로 서비스되는 등의 구식어를 붙어야 한다. GPT라는 이름을 사용하기 곤란해지면서 업계에서는 보다 크고 포괄적 개념인 대형 언어 모델(Large Language Model, LLM)이라는 단어를 본격적으로 활용하기 시작한다.

수십~수천억 개의 언어 모델로 구성된 대형 언어 모델

구글은 지난 5월 진행한 구글 I/O 행사에서 2세대 LLM인 PaLM2를 선보였다 / 출처=구글

언어 모델은 단어나 문장이 복잡하게 배열돼 있을 때, 문장의 구성이 통계학적으로 가장 일반적으로 쓰이는 형태를 취하도록 학습된 모델이다. 대형 언어 모델은 이런 언어 모델을 수 억에서 수천억 개 단위로 모아놓은 것이다. 2018년 출시된 구글의 BERT는 33억 개의 단어와 3억 4천만 개의 언어 모델로 구성됐고, 본격적으로 이름을 알리기 시작한 GPT-3는 약 1750억 개의 언어 모델로 구성된다. 구글의 최신 모델인 PaLM 2는 3400억 개의 매개 변수를 사용하고, 화웨이의 판구-Σ는 1조 850억 개를 사용했다고 알려져 있다.

대형 언어 모델이 동작하는 방식은 데이터를 수집한 다음, 계산해서 제공하는 것이다. 우선 데이터는 온라인상에 있는 글과 논문, 뉴스, 서적 등으로 수집하며, 이를 사전 훈련이라고 한다. 매개변수라고 지칭하는 단위가 바로 이 데이터의 양이다. 그 다음 장치를 통해 언어 데이터의 구조와 단어의 의미, 어떤 상황에서 사용되는지 학습하고, 적절한 값으로 제공할 수 있도록 미세 조정한다. 사용자가 질문을 하면 이를 추론하고 저장된 매개변수에서 적절한 값을 생성해 제공한다.

구글이 공개한 의료 전문 LLM인 메드-PaLM / 출처=구글

현재 개발되고 있는 다양한 대형 언어 모델은 자연어가 사용되는 다양한 분야에서 애플리케이션 형태로 쓸 수 있게 제공된다. 지난 7월 공개된 구글의 의료 전문 LLM인 메드-PaLM은 미국 의사면허시험 양식 질문에서 전문가 수준의 성능을 발휘해 복잡하고 어려운 의학적 질문에 대해서도 짧거나 긴 형태로 답변을 받을 수 있다. 또한 의료 보험이나 임상 시험 지원, 암 검진 등에 대해서도 실용적인 대답을 얻을 수 있다.

고객관계관리(CRM) 기업 세일즈포스는 비용 및 주문 가치를 개선하는 커머스 GPT, 영업 담당자에게 필요한 업무 절차를 지원하는 세일즈 GPT, 실시간 데이터를 기반으로 개인화된 응답을 자동으로 제공하는 서비스 GPT와 필드 서비스 GPT 등으로 구성된 아인슈타인 GPT를 활용하고 있다. 인공지능 학습 플랫폼 ‘콴다’의 운영사 매스프레소의 경우에는 학습 수준과 맥락에 맞게 상호작용하고, 도형, 그래프, 손글씨까지 인식하는 기술을 더해 AI 보조 교사인 ‘AI 튜터’의 성능을 고도화할 예정이다.

대형 언어 모델의 현재 진행 상황은?

메타는 지난 달 28일 진행한 ‘메타 커넥트 2023’에서 LLaMA-2 기반의 인공지능 서비스인 메타 AI를 선보였다 / 출처=메타

오픈AI의 GPT가 생성형 AI의 문을 연 것은 맞지만, 시장의 분위기는 구글, 그리고 메타가 이끌어갈 전망이다. 메타는 올해 2월 LLaMA(Large Language Model Meta AI)라는 이름의 대형 언어 모델을 공개했다. 이 모델은 70억 개부터 650억 개 매개변수로 구성된 모델이 있으며, 비상업적 목적으로 제공됐다. 이후 7월에 마이크로소프트와 협력한 LLaMA-2를 공개했다. LLaMA-2는 기존 모델을 고도화함과 동시에 상업적 사용까지 무료로 제공되는 게 특징이다. 전반적인 성능은 GPT보다 우위로 평가되고 있는데, 무료로 쓸 수 있는 만큼 상당한 시장 장악력을 발휘할 것으로 평가받고 있다.

구글의 PaLM(Pathways Language Model)은 5400억 개의 매개변수가 포함된 대형 언어 모델이다. 2022년 4월 처음 발표된 이후 꾸준히 고도화하고 있으며, 지난 7월에 의료 분야에서 활용할 수 있는 메드-PaLM으로 공개됐다. 또한 로봇 조작에 사용할 수 있는 PaLM-E라는 모델도 공개됐고, 음성을 다른 음성으로 변환하는 오디오PaLM도 있다.

2세대 버전인 PaLM 2는 구글의 대화 생성형 AI인 바드(Bard)를 지원하고, 자바스크립트나 파이썬 등 20개의 프로그래밍 언어를 훈련해 코딩 용도로도 쓸 수 있다. 구글은 메타와 달리 신중하게 서비스를 공개하고 있지만, 구글 검색엔진 자체의 점유율과 100개 이상의 언어를 지원하는 성능으로 뒷심을 발휘할 것으로 예상된다.

네이버의 클로바X는 대화형 AI를 넘어 외부 서비스와 연동된다는 특징이 있다 / 출처=네이버

국내에서는 네이버의 클로바X가 강세다. 클로바X는 2040억 개의 매개변수를 갖췄으며, 한국어에 특화된 모습을 보여준다. 핵심 기능은 생성형 AI 검색 ‘큐(CUE):’로 접할 수 있으며, 네이버 내외부에 구축된 다양한 API를 연결하는 시스템 ‘스킬(skill)’을 통해 언어모델 자체의 한계를 보완한다. 물론 초기 공개 이후 가치판단이 필요한 답변을 피하거나, 국문을 제대로 이해하지 못하고 엉뚱한 답변을 제공하는 등의 모습을 보이면서 부정적인 평가를 받고 있으나, 한국어 기반이라는 강점을 내세우며 차근차근 성장하리라 본다.

인공지능 산업의 중심 된 대형 언어 모델

대형 언어 모델이 주목받고 있는 이유는 실용성 덕분이다. 이미 구글과 메타는 십수 년 전부터 인공지능을 개발해 왔지만, 연구 과정은 비밀에 부쳐왔다. 개발은 하되, 어디에 어떻게 쓰일지를 보여주지 않는 식으로 이목을 피해왔다. 하지만 오픈AI가 GPT3로 대화형 인공지능이라는 새로운 활용 방안을 제시했고, 누구나 체감할 수 있는 방식으로 인공지능을 접하게 되면서 주목을 받는 것이다.

메타의 LLaMA 2는 텍스트로 구현되지 않는 분야에 대한 도전, 안전과 책임, 개발자 커뮤니티 지원에 일차적인 초점을 맞추고 있다 / 출처=메타

하지만 대형 언어 모델의 가장 큰 한계는 명확한 목표를 두고 개발하는 것이 아니라는 점이다. 대형 언어 모델을 활용한 생성형 AI 역시 자율적인 사고가 가능한 인공 일반지능 구현이 궁극적 목표긴 하나, 지금의 언어 모델은 어떤 상한선이 규정되지도 않고 달성 가능한 목표가 수립된 것도 아니다. 아무리 완벽하고 고도화되어도 데이터에 없는 해답을 내놓을 수는 없는 게 한계다.

대형 언어 모델 자체의 목표가 불투명하다 보니 현 상황에서는 대다수 기업들이 매개변수 규모를 키우고, 큰 언어 모델을 기반으로 원하는 대답을 내놓는 것에 초점을 맞추고 있다. 하지만 매개변수를 늘리고 활용도가 많아질수록 많은 자원이 소비되고, 이 비용은 기업이 부담하게 된다. 메타의 경우 개방적이면서도 효율적인 기초 언어 모델 구현을 목표로 한다. 인공 일반지능이 구현되지 않는다면 대다수 모델이 메타처럼 생태계를 구축하고 보다 효율적으로 진화하는 방향을 목표로 잡으리라 본다.

글 / IT동아 남시현 (sh@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)

번호	제목	글쓴이	작성일	조회	추천
설문	가족과 완벽하게 손절해야 할 것 같은 스타는?	운영자	24/06/24	-	-
3989	차트분석 도구 ‘트레이딩뷰’ 파고들기 - 17	IT동아	06.28	10	0
3988	[뉴스줌인] LG전자 ‘클로이’ 로봇, 구글 ‘제미나이’ AI 탑재해 더 똑똑해졌다	IT동아	06.28	9	0
3987	[농업이 IT(잇)다] AI로 누구나 쉽게 식물 키우도록 돕는 ‘그루우’	IT동아	06.28	16	0
3986	누비랩 x 전주효림초등학교 “AI와 놀며 편식·잔반 문제 해결”	IT동아	06.28	17	0
3985	가상자산 사업자 신고제 개정 ‘법령 준수 체계·대주주 현황도 신고’ [1]	IT동아	06.28	2391	0
3984	브이디컴퍼니 x 여산휴게소 “로봇과 함께 휴게소 무인화 성큼”	IT동아	06.28	28	0
3983	디지털 교육 위한 첫걸음 디벗, 교육 현장에서는 어떻게 쓰이나	IT동아	06.28	23	0
3982	[스케일업] 캠터 [1] BM 분석 “수익형 캠핑용품 대여 플랫폼으로 상생을 꿈꾼다”	IT동아	06.28	19	0
3981	[SBA X IT동아] 페이먼트인앱 “인공지능 에지 컴퓨팅의 효용을 세계로 ”	IT동아	06.28	18	0
3980	[생성 AI 길라잡이] PC도, 스마트폰도…온디바이스 AI 시대 본격화	IT동아	06.28	31	0
3979	퓨리오사AI, TCP(텐서 축약 프로세서)로 AI 반도체 시장 전환 노린다	IT동아	06.28	23	0
3978	부산모빌리티쇼 개막…캐스퍼 일렉트릭·르노 콜레오스 등 신차 격전	IT동아	06.27	47	0
3977	동의 없이 마음대로 수리하고 수리비는 개인 주머니에? 제이씨현온비즈의 수상한 A/S [4]	IT동아	06.27	583	0
3976	[IT애정남] AI PC, 어떤 기준으로 고르는 게 좋나요? [1]	IT동아	06.27	379	1
3975	[SBA X IT동아] 그린웨어 “섬유 산업 지속가능성 주는 바이오매스 천연 염색”	IT동아	06.27	67	0
3974	2024 블록체인 지원 사업 14개 추진 “블록체인 혁신 서비스 발굴·지원”	IT동아	06.27	39	0
3973	[스타트업 첫걸음] 창업지원기관, 어떻게 찾아야 할까	IT동아	06.27	41	0
3972	업무 문화 혁신 중, KB국민은행은 ‘애자일(Agile)에 진심’이었습니다 [13]	IT동아	06.27	5988	0
3971	[스케일업] 파나띠꼬 [1] BM분석 – 선택ㆍ집중 통한 기업과 제품 정체성 구축 필요	IT동아	06.26	59	0
3970	[스케일업] 말랑탱크 [1] BM분석 “눈 건강 솔루션으로 틈새 시장 개척, 방향성 유지가 중요”	IT동아	06.26	51	0
3969	브이디컴퍼니 x 골프존파크 “서빙로봇과 24시간 매장으로 변신”	IT동아	06.26	56	0
3968	[리뷰] 조명을 더한 감성 스피커 ‘브리츠 BZ-CML200’	IT동아	06.26	808	1
3967	[자동차와 法] 차량 결함으로 의심되는 급발진 교통사고의 문제점	IT동아	06.25	69	0
3966	[인터뷰] 실사용 의료데이터 분석으로 성공적인 임상연구 돕는 ‘메디플렉서스’	IT동아	06.25	75	0
3965	[자동차 디자人] 프리미엄 소형차 ‘MINI 디자인’ 이끄는 ‘올리버 하일머’	IT동아	06.25	821	0
3964	[칼럼] IPO 열풍 속 IT 인프라 변화, 클라우드 전환의 필요성과 전략적 접근	IT동아	06.25	70	0
3963	‘성능? 호환성?’ AI(인공지능) PC 시대, 선택의 기준은?	IT동아	06.25	558	0
3962	엔슬파트너스·콴티파이 “유망 초격차 10대 스타트업 적극 육성”	IT동아	06.25	66	0
3961	[혁신스타트업 in 홍릉] 두뇌싱긋연구소 “게임으로 노년층에게 즐거운 삶을”	IT동아	06.25	67	0
3960	[SBA x IT동아] 넷스파 “폐어망 재활용으로 해양 폐기물 문제 해결에 기여하겠습니다”	IT동아	06.25	60	0
3959	[뉴스줌인] 성능은 UP, 가격은 동결, ‘갤럭시 A35’ 이모저모 [3]	IT동아	06.25	908	1
3958	[스케일업] 운약근답올핏 [1] “시장·영업·스케일업 전략 명확하게 제시하라”	IT동아	06.24	75	0
3957	업비트·빗썸, 가상자산 투자대회 개최 '투자 심리 회복 기대'	IT동아	06.24	87	0
3956	뷰소닉 데이빗 첸 “한국 빔프로젝터 시장, 우리 경쟁력 높일 기회의 땅” [3]	IT동아	06.24	837	0
3955	브이디컴퍼니 x 타임빌라스 수원 “대형 매장 서빙, 로봇으로 거뜬히” [2]	IT동아	06.24	887	1
3954	[정구태의 디지털자산 리터러시] 디지털자산 갈라파고스 탈출을 위한 제언 2. 실명계좌 제도 개선	IT동아	06.24	67	0
3953	헷갈리는 우회전 교통법규 숙지하기! [이럴땐 이렇게!] [13]	IT동아	06.24	2467	3
3952	[르포] ‘페라리’ 전동화 전초 기지 ‘e-빌딩’ 현장 살펴보니	IT동아	06.21	125	0
3951	AWS 지용호 마케팅 총괄 “클라우드 강자 AWS, 생성형 AI 혁신도 주도”	IT동아	06.21	127	0
3950	차트분석 도구 ‘트레이딩뷰’ 파고들기 - 16	IT동아	06.21	134	0
3949	[생성 AI 길라잡이] 대화형 생성AI도 골라서 쓰자, GPT와 클로드, 제미나이	IT동아	06.21	4431	5
3948	[농업이 IT(잇)다] 마늘 분류에 비전인식 AI 접목한 '젠틀파머스'	IT동아	06.21	129	0
3947	“NFT가 가상자산?” NFT 법적 성격 판단 기준 나왔다	IT동아	06.20	742	0
3946	삼성전자, 빌트인 가전 브랜드 '데이코' 전시·판매 확대로 B2C 시장 공략 [2]	IT동아	06.19	2495	0
3945	KIAT, 광주 가전산업 위기 극복 위해 기업과 머리 맞대	IT동아	06.19	140	0
3944	[스케일업] 두디스 [1] BM분석 - "유튜브 영상 분석 플랫폼, 첨예한 접근 필요"	IT동아	06.19	140	0
3943	브이디컴퍼니 x 향촌흑염소 "서빙로봇, 대형 요식업 매장에 어울려”	IT동아	06.19	157	0
3942	[월간자동차] 24년 5월, 국산 ‘기아 카니발’·수입 ‘테슬라 모델 3’ 판매 1위	IT동아	06.19	693	0
3941	초기 스타트업에 대한 전문적·객관적 평가, '상품성 진단' 들여다보니	IT동아	06.19	128	2
3940	AKG, 라이프스타일에 맞춘 새로운 N 시리즈 ‘N5·N9 하이브리드’ [1]	IT동아	06.18	2148	0

최근 방문

즐겨찾기

즐겨찾기 갤러리

갤러리 이슈박스, 최근방문 갤러리

연관 갤러리

개념글 리스트

차단하기

[IT동아 갤러리]

갤러리 본문 영역

수십~수천억 개의 언어 모델로 구성된 대형 언어 모델

대형 언어 모델의 현재 진행 상황은?

인공지능 산업의 중심 된 대형 언어 모델

▶ 퀄컴, 증강·확장현실 스냅드래곤으로 공간 컴퓨팅 공략▶ 메타, MR 헤드셋 '퀘스트3' 공개…AI 챗봇도 첫선▶ AI 독주 노리는 마이크로소프트, 윈도우 11에 '코파일럿' 도입

추천 비추천

댓글 영역

① NFT 발행

② NFT 구매

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

페이지 이동

오른쪽 컨텐츠 영역

알림 설정

알림

디시콘 리스트

디시콘

디시콘 검색결과(0)

인기 디시콘

지갑 연결

▶ 퀄컴, 증강·확장현실 스냅드래곤으로 공간 컴퓨팅 공략 ▶ 메타, MR 헤드셋 '퀘스트3' 공개…AI 챗봇도 첫선 ▶ AI 독주 노리는 마이크로소프트, 윈도우 11에 '코파일럿' 도입