디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

대화형 인공지능 구현을 위한 기반, 대형 언어 모델(LLM)이란?

IT동아갤로그로 이동합니다. 2023.10.04 17:48:54
조회 739 추천 1 댓글 0
[IT동아 남시현 기자] GPT는 사전 학습된 생성형 트랜스포머(Generative Pre-trained Transformer)의 약자다. GPT 등장 이전에는 생성적 사전 훈련(GP)이라는 말이 쓰였는데, 2018년 오픈AI가 GPT-1을 공개하면서 GPT로 쓰이기 시작했다. GPT는 데이터를 사전에 훈련해 둔 다음 제공하는 방식을 활용함으로써 대량의 데이터를 기반으로도 빠르게 대답을 내놓을 수 있는 게 특징이다. 이 방식이 챗GPT에 적용되면서 GPT는 인공지능 업계에서 대명사처럼 쓰이기 시작한다.


출처=셔터스톡



하지만 올해 4월, 오픈AI는 가이드라인을 통해 특정 서비스 명에 GPT라는 이름을 붙일 수 없게 하겠다고 발표했다. GPT라는 개념 자체가 널리 퍼지자 상표권을 행사하겠다는 취지다. 언어 모델 개발사는 GPT라는 이름을 그대로 쓸 수 없고, GPT로 개발된, GPT로 서비스되는 등의 구식어를 붙어야 한다. GPT라는 이름을 사용하기 곤란해지면서 업계에서는 보다 크고 포괄적 개념인 대형 언어 모델(Large Language Model, LLM)이라는 단어를 본격적으로 활용하기 시작한다.

수십~수천억 개의 언어 모델로 구성된 대형 언어 모델



구글은 지난 5월 진행한 구글 I/O 행사에서 2세대 LLM인 PaLM2를 선보였다 / 출처=구글



언어 모델은 단어나 문장이 복잡하게 배열돼 있을 때, 문장의 구성이 통계학적으로 가장 일반적으로 쓰이는 형태를 취하도록 학습된 모델이다. 대형 언어 모델은 이런 언어 모델을 수 억에서 수천억 개 단위로 모아놓은 것이다. 2018년 출시된 구글의 BERT는 33억 개의 단어와 3억 4천만 개의 언어 모델로 구성됐고, 본격적으로 이름을 알리기 시작한 GPT-3는 약 1750억 개의 언어 모델로 구성된다. 구글의 최신 모델인 PaLM 2는 3400억 개의 매개 변수를 사용하고, 화웨이의 판구-Σ는 1조 850억 개를 사용했다고 알려져 있다.

대형 언어 모델이 동작하는 방식은 데이터를 수집한 다음, 계산해서 제공하는 것이다. 우선 데이터는 온라인상에 있는 글과 논문, 뉴스, 서적 등으로 수집하며, 이를 사전 훈련이라고 한다. 매개변수라고 지칭하는 단위가 바로 이 데이터의 양이다. 그 다음 장치를 통해 언어 데이터의 구조와 단어의 의미, 어떤 상황에서 사용되는지 학습하고, 적절한 값으로 제공할 수 있도록 미세 조정한다. 사용자가 질문을 하면 이를 추론하고 저장된 매개변수에서 적절한 값을 생성해 제공한다.


구글이 공개한 의료 전문 LLM인 메드-PaLM / 출처=구글



현재 개발되고 있는 다양한 대형 언어 모델은 자연어가 사용되는 다양한 분야에서 애플리케이션 형태로 쓸 수 있게 제공된다. 지난 7월 공개된 구글의 의료 전문 LLM인 메드-PaLM은 미국 의사면허시험 양식 질문에서 전문가 수준의 성능을 발휘해 복잡하고 어려운 의학적 질문에 대해서도 짧거나 긴 형태로 답변을 받을 수 있다. 또한 의료 보험이나 임상 시험 지원, 암 검진 등에 대해서도 실용적인 대답을 얻을 수 있다.

고객관계관리(CRM) 기업 세일즈포스는 비용 및 주문 가치를 개선하는 커머스 GPT, 영업 담당자에게 필요한 업무 절차를 지원하는 세일즈 GPT, 실시간 데이터를 기반으로 개인화된 응답을 자동으로 제공하는 서비스 GPT와 필드 서비스 GPT 등으로 구성된 아인슈타인 GPT를 활용하고 있다. 인공지능 학습 플랫폼 ‘콴다’의 운영사 매스프레소의 경우에는 학습 수준과 맥락에 맞게 상호작용하고, 도형, 그래프, 손글씨까지 인식하는 기술을 더해 AI 보조 교사인 ‘AI 튜터’의 성능을 고도화할 예정이다.

대형 언어 모델의 현재 진행 상황은?



메타는 지난 달 28일 진행한 ‘메타 커넥트 2023’에서 LLaMA-2 기반의 인공지능 서비스인 메타 AI를 선보였다 / 출처=메타



오픈AI의 GPT가 생성형 AI의 문을 연 것은 맞지만, 시장의 분위기는 구글, 그리고 메타가 이끌어갈 전망이다. 메타는 올해 2월 LLaMA(Large Language Model Meta AI)라는 이름의 대형 언어 모델을 공개했다. 이 모델은 70억 개부터 650억 개 매개변수로 구성된 모델이 있으며, 비상업적 목적으로 제공됐다. 이후 7월에 마이크로소프트와 협력한 LLaMA-2를 공개했다. LLaMA-2는 기존 모델을 고도화함과 동시에 상업적 사용까지 무료로 제공되는 게 특징이다. 전반적인 성능은 GPT보다 우위로 평가되고 있는데, 무료로 쓸 수 있는 만큼 상당한 시장 장악력을 발휘할 것으로 평가받고 있다.

구글의 PaLM(Pathways Language Model)은 5400억 개의 매개변수가 포함된 대형 언어 모델이다. 2022년 4월 처음 발표된 이후 꾸준히 고도화하고 있으며, 지난 7월에 의료 분야에서 활용할 수 있는 메드-PaLM으로 공개됐다. 또한 로봇 조작에 사용할 수 있는 PaLM-E라는 모델도 공개됐고, 음성을 다른 음성으로 변환하는 오디오PaLM도 있다.

2세대 버전인 PaLM 2는 구글의 대화 생성형 AI인 바드(Bard)를 지원하고, 자바스크립트나 파이썬 등 20개의 프로그래밍 언어를 훈련해 코딩 용도로도 쓸 수 있다. 구글은 메타와 달리 신중하게 서비스를 공개하고 있지만, 구글 검색엔진 자체의 점유율과 100개 이상의 언어를 지원하는 성능으로 뒷심을 발휘할 것으로 예상된다.


네이버의 클로바X는 대화형 AI를 넘어 외부 서비스와 연동된다는 특징이 있다 / 출처=네이버



국내에서는 네이버의 클로바X가 강세다. 클로바X는 2040억 개의 매개변수를 갖췄으며, 한국어에 특화된 모습을 보여준다. 핵심 기능은 생성형 AI 검색 ‘큐(CUE):’로 접할 수 있으며, 네이버 내외부에 구축된 다양한 API를 연결하는 시스템 ‘스킬(skill)’을 통해 언어모델 자체의 한계를 보완한다. 물론 초기 공개 이후 가치판단이 필요한 답변을 피하거나, 국문을 제대로 이해하지 못하고 엉뚱한 답변을 제공하는 등의 모습을 보이면서 부정적인 평가를 받고 있으나, 한국어 기반이라는 강점을 내세우며 차근차근 성장하리라 본다.

인공지능 산업의 중심 된 대형 언어 모델


대형 언어 모델이 주목받고 있는 이유는 실용성 덕분이다. 이미 구글과 메타는 십수 년 전부터 인공지능을 개발해 왔지만, 연구 과정은 비밀에 부쳐왔다. 개발은 하되, 어디에 어떻게 쓰일지를 보여주지 않는 식으로 이목을 피해왔다. 하지만 오픈AI가 GPT3로 대화형 인공지능이라는 새로운 활용 방안을 제시했고, 누구나 체감할 수 있는 방식으로 인공지능을 접하게 되면서 주목을 받는 것이다.


메타의 LLaMA 2는 텍스트로 구현되지 않는 분야에 대한 도전, 안전과 책임, 개발자 커뮤니티 지원에 일차적인 초점을 맞추고 있다 / 출처=메타



하지만 대형 언어 모델의 가장 큰 한계는 명확한 목표를 두고 개발하는 것이 아니라는 점이다. 대형 언어 모델을 활용한 생성형 AI 역시 자율적인 사고가 가능한 인공 일반지능 구현이 궁극적 목표긴 하나, 지금의 언어 모델은 어떤 상한선이 규정되지도 않고 달성 가능한 목표가 수립된 것도 아니다. 아무리 완벽하고 고도화되어도 데이터에 없는 해답을 내놓을 수는 없는 게 한계다.

대형 언어 모델 자체의 목표가 불투명하다 보니 현 상황에서는 대다수 기업들이 매개변수 규모를 키우고, 큰 언어 모델을 기반으로 원하는 대답을 내놓는 것에 초점을 맞추고 있다. 하지만 매개변수를 늘리고 활용도가 많아질수록 많은 자원이 소비되고, 이 비용은 기업이 부담하게 된다. 메타의 경우 개방적이면서도 효율적인 기초 언어 모델 구현을 목표로 한다. 인공 일반지능이 구현되지 않는다면 대다수 모델이 메타처럼 생태계를 구축하고 보다 효율적으로 진화하는 방향을 목표로 잡으리라 본다.

글 / IT동아 남시현 (sh@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)



▶ 퀄컴, 증강·확장현실 스냅드래곤으로 공간 컴퓨팅 공략▶ 메타, MR 헤드셋 '퀘스트3' 공개…AI 챗봇도 첫선▶ AI 독주 노리는 마이크로소프트, 윈도우 11에 '코파일럿' 도입



추천 비추천

1

고정닉 0

0

댓글 영역

전체 댓글 0
등록순정렬 기준선택
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 주위 눈치 안 보고(어쩌면 눈치 없이) MZ식 '직설 화법' 날릴 것 같은 스타는? 운영자 24/04/29 - -
3115 [스타트업人] 정밀 의료 선봉, 메디플렉서스 ‘의료데이터 분석·개발자 이야기’ [1] IT동아갤로그로 이동합니다. 23.11.06 1391 0
3114 사우디 법무부 대표단이 韓 리걸테크 기업을 방문한 이유 IT동아갤로그로 이동합니다. 23.11.03 186 0
3113 블록체인 허브도시 조성을 위한 인천시의 적극적인 행보 IT동아갤로그로 이동합니다. 23.11.03 124 0
3112 시흥창업센터 김준희 센터장, “스타트업에 필요한 네트워크를 만들고 있습니다” IT동아갤로그로 이동합니다. 23.11.03 128 0
3111 [이제는 전북 콘텐츠] 전북 콘텐츠 기업 및 청년 구인구직난 해소를 위한 ‘일자리 박람회’ IT동아갤로그로 이동합니다. 23.11.03 119 0
3110 [리뷰] 프리미엄 폴더블 노트북의 시작, LG 그램 폴드 [3] IT동아갤로그로 이동합니다. 23.11.03 1209 3
3109 지향성 스피커, 발전소·공장 안전 지킨다 [2] IT동아갤로그로 이동합니다. 23.11.03 894 0
3108 중고차 시장 경쟁 격화…업력 20년 이상 플랫폼 기업의 대응책은? IT동아갤로그로 이동합니다. 23.11.02 111 0
3107 가상자산 주요 쟁점 뒷전, 아쉬운 국정감사 [2] IT동아갤로그로 이동합니다. 23.11.02 1365 2
3106 고급 소재의 대명사 '티타늄', 프리미엄 IT 기기의 표준 될까? [4] IT동아갤로그로 이동합니다. 23.11.02 376 1
3105 CPU 도전하는 엔비디아, GPU 대체나선 인텔··· 격랑에 빠진 AI 반도체 시장 [7] IT동아갤로그로 이동합니다. 23.11.01 421 1
3104 [KIDP 울산] 한컴유비마이크로 “산업 현장 안전을 위해 노력하고 있습니다” IT동아갤로그로 이동합니다. 23.11.01 98 0
3103 [스케일업] 아일로 [3] “브랜딩과 마케팅, 결국 우리를 알린다는 것" IT동아갤로그로 이동합니다. 23.11.01 134 0
3102 학생들이 교실에서 직접 만든 게임…교육의 도구로 활용된다 IT동아갤로그로 이동합니다. 23.11.01 786 2
3101 잇따른 거래소 수수료 무료 정책, ‘수익보다 이용자 확보’ IT동아갤로그로 이동합니다. 23.10.31 114 0
3100 [스케일업] 팀워크 [2] 웍스메이트 “건설 디지털화, 요구 만족·불편 해소부터” IT동아갤로그로 이동합니다. 23.10.31 94 0
3099 애플, M3 기반 맥북 프로·아이맥 공개··· '3nm로 격차 굳힐까' [1] IT동아갤로그로 이동합니다. 23.10.31 1006 3
3098 디지털 기술로 지역사회 문제 해결 ‘인천 학생SW해커톤 챌린지’ IT동아갤로그로 이동합니다. 23.10.31 96 0
3097 [IT신상공개] 레트로 감성에 편의성 추가 ‘턴테이블’ IT동아갤로그로 이동합니다. 23.10.30 90 0
3096 산업혁신기반구축사업, "3D프린팅과 의료 기술 융합으로 기업들의 꿈 지원한다” IT동아갤로그로 이동합니다. 23.10.30 99 0
3095 [IT애정남] 스마트폰 사진이 너무 밝게 나오면 어떻게 해야 하나요? IT동아갤로그로 이동합니다. 23.10.30 676 1
3094 [이제는 전북 콘텐츠] 콘텐츠 스타트업에게 필요한 것을 지원합니다 IT동아갤로그로 이동합니다. 23.10.30 80 0
3093 [주간투자동향] 모레, 2200만 달러 규모의 시리즈B 투자 유치 IT동아갤로그로 이동합니다. 23.10.30 82 0
3092 [KIDP 울산] 트레비어 “수제맥주 양조장을 통해 문화를 전달하고 싶습니다” IT동아갤로그로 이동합니다. 23.10.27 89 0
3091 [리뷰] 과감함보다는 내부적 혁신에 주력, 아이폰 15 프로 맥스 IT동아갤로그로 이동합니다. 23.10.27 1153 6
3090 [리뷰] 주변 상황 파악이 필요한 상황에 제격, 무선 이어폰 샥즈 오픈핏 IT동아갤로그로 이동합니다. 23.10.27 127 0
3089 [이제는 전북 콘텐츠] 콘텐츠 창작자를 위한 ‘전문 교육’을 제공합니다 IT동아갤로그로 이동합니다. 23.10.27 85 0
3088 동유럽 의료 공급망 변화, 수출 기회 확대로 이어지나[K비즈니스 가이드] IT동아갤로그로 이동합니다. 23.10.27 81 0
3087 [스타트업-ing] 알밤 “재미있는 소근육 운동 게임 ‘잼재미AR’을 만듭니다” IT동아갤로그로 이동합니다. 23.10.27 72 0
3086 지능형 교통체계(ITS)...‘클라우드’ 접목으로 진화한다 [2] IT동아갤로그로 이동합니다. 23.10.27 1148 0
3085 [스케일업] 에쓰오일이 단·차열 페인트 기업 이유씨엔씨에 투자한 사연 IT동아갤로그로 이동합니다. 23.10.26 74 0
3084 [IT신상공개] 스마트폰 진화 이끌 ‘퀄컴 스냅드래곤 8 3세대’ IT동아갤로그로 이동합니다. 23.10.25 258 2
3083 [서울형 R&D] 에니아이 황건필 대표, “로봇이 햄버거 패티를 굽습니다” IT동아갤로그로 이동합니다. 23.10.25 76 0
3082 [IT 강의실] 비트코인 시세 상승 원동력 ‘비트코인 ETF’ IT동아갤로그로 이동합니다. 23.10.25 187 3
3081 [KIDP 울산] 볼로랜드 “드론 스테이션으로 UAM 시대 개척” IT동아갤로그로 이동합니다. 23.10.25 77 0
3080 시그마케이, "AI·실감 시각화 기술로 새 시장 열 것" [스타트업in과기대] IT동아갤로그로 이동합니다. 23.10.25 65 0
3079 가상자산법 시행령·2단계 법안을 위한 제언 '불명확성 해소 필요' IT동아갤로그로 이동합니다. 23.10.24 68 0
3078 [KTVF] 솔루투스 강승우 대표 “보험상품 약관을 일상언어로” IT동아갤로그로 이동합니다. 23.10.24 548 1
3077 [스타트업-ing] 지티엘 “항공기, UAM 첨단 부품 맡겨주세요” IT동아갤로그로 이동합니다. 23.10.24 62 0
3076 [르포] 현직 교사들이 직접 선보인 ‘미래 교육 청사진’…‘링크 페스타’ 현장 [2] IT동아갤로그로 이동합니다. 23.10.24 430 0
3075 [뉴스줌인] ‘그래핀’으로 만들었다는 써멀 패드, 뭐가 다를까? IT동아갤로그로 이동합니다. 23.10.23 67 0
3074 [과기대 S-Run] 제조·디자인 컨설팅으로 진입 장벽 부수는 '소싱 디렉팅' [1] IT동아갤로그로 이동합니다. 23.10.23 801 0
3073 [리뷰] 한층 다듬어진 폴더블폰 대표주자, 삼성 갤럭시 Z 폴드5 IT동아갤로그로 이동합니다. 23.10.20 188 1
3072 벤처기업 창업자의 경영권 보호하는 ‘복수의결권’ IT동아갤로그로 이동합니다. 23.10.20 73 0
3071 [리뷰] 의외로 편한 케이스 디스플레이, JBL 투어 프로 2 [4] IT동아갤로그로 이동합니다. 23.10.20 1322 0
3070 [KIDP 울산] 우시산 “소셜 업사이클링 모범 사례 전파” IT동아갤로그로 이동합니다. 23.10.20 63 0
3069 이노모티브 김종배 대표, “공유형 배터리로 공간에 이동을 연결합니다” IT동아갤로그로 이동합니다. 23.10.20 67 0
3068 AMD, 젠4 기반 '스레드리퍼 프로 7000 WX' 출시, HEDT용 제품군도 부활 [1] IT동아갤로그로 이동합니다. 23.10.20 787 0
3067 "국내 최초 NPU 활용 해커톤, 퓨리오사AI의 진심 보여드리겠다" IT동아갤로그로 이동합니다. 23.10.19 331 0
3066 340조 규모 전 세계 디지털 의류 시장 조준한 '알타바그룹' IT동아갤로그로 이동합니다. 23.10.18 63 0
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2