'드래프트 체인' 기법으로 AI 비용 90% 절감하면서 성능은 향상

GPTMAGAZINE

2025.03.11 01:23:23

조회 356 추천 0 댓글 0

줌 커뮤니케이션즈 연구팀이 AI 시스템이 복잡한 추론 문제를 해결하는 데 필요한 비용과 컴퓨팅 자원을 극적으로 줄일 수 있는 혁신적인 기법을 개발했다. 이는 기업들이 대규모로 AI를 배포하는 방식을 바꿀 잠재력을 가지고 있다.

'드래프트 체인(Chain of Draft, CoD)'이라 불리는 이 방법은 대형 언어 모델(LLM)이 최소한의 단어로 문제를 해결할 수 있게 해준다. 이 기법은 현재 방법에서 요구되는 텍스트의 7.6%만 사용하면서도 정확도를 유지하거나 심지어 향상시킨다. 이 연구 결과는 지난주 연구 저장소 arXiv에 논문으로 발표되었다.

"간결성을 높이고 중요한 통찰력에 집중함으로써, CoD는 다양한 추론 작업에서 토큰의 7.6%만 사용하면서도 CoT(사고 체인) 방식과 같거나 더 나은 정확도를 달성하여 비용과 지연 시간을 크게 줄입니다," 줌의 연구원 실레이 쉬가 이끄는 저자들은 설명했다.

드래프트 체인은 인간이 복잡한 문제를 해결하는 방식에서 영감을 얻었다. 수학 문제나 논리적 퍼즐을 풀 때 모든 세부 사항을 설명하는 대신, 사람들은 일반적으로 축약된 형태로 필수 정보만 메모한다.

"복잡한 작업을 해결할 때—수학 문제, 에세이 작성, 코딩 등—우리는 종종 진행에 도움이 되는 중요한 정보만 메모합니다. 이런 행동을 모방함으로써, LLM은 장황한 추론의 오버헤드 없이 해결책을 향해 나아가는 데 집중할 수 있습니다."

연구팀은 산술 추론(GSM8k), 상식 추론(날짜 이해 및 스포츠 이해) 및 기호 추론(동전 뒤집기 작업) 등 다양한 벤치마크에서 접근 방식을 테스트했다.

한 주목할 만한 예시에서, Claude 3.5 Sonnet이 스포츠 관련 질문을 처리할 때 CoD 접근 방식은 평균 출력을 189.4 토큰에서 단 14.3 토큰으로 92.4% 줄이면서 동시에 정확도를 93.2%에서 97.3%로 향상시켰다.

"매월 100만 개의 추론 쿼리를 처리하는 기업의 경우, CoD는 비용을 3,800달러(CoT)에서 760달러로 줄여 월 3,000달러 이상을 절약할 수 있습니다," AI 연구원 아지스 발라스 프라바카르는 논문 분석에서 설명했다.

이 연구는 기업 AI 배포의 중요한 시기에 등장했다. 기업들이 정교한 AI 시스템을 운영에 통합함에 따라 컴퓨팅 비용과 응답 시간이 광범위한 도입의 중요한 장벽으로 부상했다.

특히 기업에 주목할 만한 점은 구현의 단순함이다. 비용이 많이 드는 모델 재훈련이나 아키텍처 변경이 필요한 많은 AI 발전과 달리, CoD는 간단한 프롬프트 수정을 통해 기존 모델로 즉시 배포될 수 있다.

연구 코드와 데이터는 GitHub에 공개적으로 제공되어 조직이 자체 AI 시스템으로 접근 방식을 구현하고 테스트할 수 있게 되었다.

출처: GPT매거진 (www.gptmagazine.net)

고정닉 0

원본 첨부파일 1

thumb-5100c6b176892509a8c9651bdcae96fe_LcJ3XyCd_bd1f4841a934c637a23bb82e5c58051c944a85e3_600x336.png

전체 댓글 0개

등록순 최신순 답글순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
설문	2025년 가장 기억에 남는 인터넷 이슈는?	운영자	25/12/22	-	-
588	OpenAI, GPT-2 이후 첫 오픈소스 모델 출시 예고	GPTMAGAZINE	04.01	246	0
587	마이크로소프트, 상하이 AI 연구소 폐쇄... 중국 사업 축소 신호탄 [8]	GPTMAGAZINE	04.01	2609	57
586	일론 머스크의 'Grok', 상표권 분쟁에 휘말려 [1]	GPTMAGAZINE	04.01	2212	0
585	Lightmatter, AI 칩을 위한 새로운 광학 기술 출시	GPTMAGAZINE	04.01	190	0
584	'AI가 코딩 일자리 대체할 것' 레플릿 CEO의 충격적 발언... "지금 코딩 공부하지 마세요"	GPTMAGAZINE	03.30	720	3
583	유튜브의 이상한 가짜 영화 예고편 세계와 스튜디오들의 AI 영상 수익화 실태	GPTMAGAZINE	03.30	577	0
582	Navina, 골드만삭스 주도 5,500만 달러 시리즈 C 투자 유치	GPTMAGAZINE	03.30	211	0
581	Instacart에 인수된 셀프 체크아웃 스타트업 창업자, 이제 저가형 로봇 개발 나서	GPTMAGAZINE	03.30	201	0
580	Anthropic, AI의 '블랙박스' 열기 위한 획기적 발전 이룩	GPTMAGAZINE	03.30	200	0
579	OpenAI, ChatGPT의 이미지 생성 안전장치 완화 [5]	GPTMAGAZINE	03.29	7931	2
578	일론 머스크, xAI의 X(前 트위터) 인수 발표 [10]	GPTMAGAZINE	03.29	9113	3
577	구글, 검색, 지도, Gemini에 새로운 휴가 계획 기능 출시	GPTMAGAZINE	03.29	201	0
576	AI 검색 엔진 Perplexity, 차세대 쇼핑 경험 창출 희망... 작은 스타트업이 해결책 될 수 있다고 확신	GPTMAGAZINE	03.29	183	0
575	AI가 독자를 가져가는 상황에서, 역사 출판사 대표가 고민하는 미래	GPTMAGAZINE	03.29	186	0
574	유출된 데이터, 중국의 AI 검열 시스템 실체 드러내 [10]	GPTMAGAZINE	03.27	2941	38
573	OpenAI의 바이럴 '스튜디오 지브리' 현상, AI 저작권 우려 부각시켜 [3]	GPTMAGAZINE	03.27	1214	0
572	OpenAI, 경쟁사 Anthropic의 AI 모델-데이터 연결 표준 채택	GPTMAGAZINE	03.27	221	0
571	알리바바, '비용 효율적인 AI 에이전트'를 위한 새 오픈소스 AI 모델 출시	GPTMAGAZINE	03.27	213	0
570	중국, AI 붐 잡으려 수백 개 데이터 센터 건설했지만 대부분 미사용 상태 [13]	GPTMAGAZINE	03.27	5198	4
569	OpenAI, 대화 경험 개선된 AI 음성 비서 업데이트 발표	GPTMAGAZINE	03.25	2030	0
568	Meta, Instagram에서 AI 생성 댓글 테스트 중인 모습 포착 [1]	GPTMAGAZINE	03.23	2310	1
567	Kleiner Perkins, 직원 복지로서 모기지 제공하는 'Multiply Mortgage'에 2,350만 달러 시리즈 A 투자 주도 [1]	GPTMAGAZINE	03.22	7063	1
566	북한, AI 해킹에 초점 맞춘 새로운 부서 발족 [21]	GPTMAGAZINE	03.22	8606	3
564	Google, Search와 Android를 위한 새로운 의료 관련 기능 출시 [1]	GPTMAGAZINE	03.18	5008	1
563	중국의 AI 열풍: DeepSeek, 자동차부터 의료까지 이미 모든 곳에 침투 [7]	GPTMAGAZINE	03.16	888	0
562	AI 에이전트 기반 컴플라이언스 자동화 스타트업 Norm Ai, 4,800만 달러 투자 유치 [1]	GPTMAGAZINE	03.15	7063	0
561	OpenAI, 컴퓨터 제어 AI 기능을 다른 앱에 제공하기로	GPTMAGAZINE	03.15	373	1
560	UiPath, Peak 에이전트 AI 인수로 성장의 길 모색	GPTMAGAZINE	03.15	667	0
559	Google, AI 정책 제안서에서 약화된 저작권 및 수출 규정 촉구 [3]	GPTMAGAZINE	03.15	7147	1
558	OpenAI, DeepSeek을 '국가 통제' 하에 있다고 주장하며 '중국산' 모델 금지 촉구	GPTMAGAZINE	03.15	270	0
557	SoftBank, OpenAI 협력을 위해 구 Sharp 공장 6,760만 달러에 매입	GPTMAGAZINE	03.15	255	0
556	스페인, AI 생성 콘텐츠 미표시에 막대한 벌금 부과 예정 [1]	GPTMAGAZINE	03.12	2412	1
	'드래프트 체인' 기법으로 AI 비용 90% 절감하면서 성능은 향상	GPTMAGAZINE	03.11	356	0
554	'마누스(Manus)', 중국의 두 번째 '딥시크 모멘트'는 아닌 듯 [8]	GPTMAGAZINE	03.11	1059	0
553	허깅페이스 CSO, "AI가 '서버 위의 예스맨'으로 전락하고 있다" 우려 표명 [1]	GPTMAGAZINE	03.11	1140	5
552	니르바나, AI 기반 트럭 보험 서비스로 8천만 달러 투자 유치	GPTMAGAZINE	03.11	293	0
551	AI로 목소리 도용 쉬워졌다... 현재로선 막을 방법 거의 없어 [11]	GPTMAGAZINE	03.11	3334	2
550	세일즈포스, 자율 AI 플랫폼 'Agentforce 2dx' 출시로 디지털 노동 혁신 추구	GPTMAGAZINE	03.06	4504	0
549	마이크로소프트, 세일즈포스에 맞서 영업용 AI 에이전트 공개	GPTMAGAZINE	03.06	397	0
548	전 구글 CEO 에릭 슈미트, 'AGI 개발을 위한 맨해튼 프로젝트' 반대 의견 제시 [4]	GPTMAGAZINE	03.06	2349	1
547	모든 암 환자에게 항암치료가 필요한 것은 아니다 - 아타락시스 AI, 맞춤형 치료 위해 2천만 달러 유치 [7]	GPTMAGAZINE	03.06	2546	2
546	새 데이터 공개, OpenAI와 Perplexity가 출판사에 얼마나 피해를 주는지 드러나 [3]	GPTMAGAZINE	03.06	2568	2
545	엔비디아 GeForce RTX 5070 리뷰: "549달러에 4090 수준 성능"? 사실은 아니다 [2]	GPTMAGAZINE	03.05	3741	0
544	낫싱의 폰 3A와 3A 프로, AI로 모든 콘텐츠 정리 기능 탑재 [4]	GPTMAGAZINE	03.05	1162	1
543	AI 클라우드 제공업체 CoreWeave, IPO 신청 발표	GPTMAGAZINE	03.05	323	0
542	LA타임스, 오피니언 기사에 AI 생성 정치 성향 평가 표시 결정 [25]	GPTMAGAZINE	03.05	5268	0
541	SB 1047 저자, 캘리포니아에 새로운 AI 법안 발의 [1]	GPTMAGAZINE	03.05	2192	0
540	"세서미(Sesame)", 실제 대화처럼 자연스러운 첫 음성 비서 등장	GPTMAGAZINE	03.03	314	0
539	오픈AI, 소라(Sora) 비디오 생성기를 챗GPT에 통합 계획 밝혀	GPTMAGAZINE	03.03	425	0
538	구글 세르게이 브린, 직원들에게 "최소 평일 매일" 사무실 출근 촉구	GPTMAGAZINE	03.03	293	0