[리뷰] 국산 반도체의 진면모를 파헤치다, 퓨리오사AI 워보이 NPU

IT동아 · 2023.06.02 13:26:45

[IT동아 남시현 기자] 인공지능 개발에서 그래픽 처리 장치(Graphic Processing Unit, 이하 GPU)가 사용되는 이유는 크게 두 가지다. 인공지능 모델을 개발하기 위해서는 대량의 수학 계산이 필요한데, GPU를 활용해서 처리할 수 있다. 하지만 GPU는 다양한 개발 환경에 적용할 순 있으나, 구조 자체가 인공지능 개발에 효율적인 방식은 아니라서 결과물 대비 전력 소비가 많고 단가도 비싸다. 테슬라 최고경영자 일론 머스크는 “현시점에서 GPU가 마약보다 구하기 훨씬 어렵다”라고 말할 정도로 품귀 현상도 겪고 있다.

이로 인해 반도체 업계는 인공지능 개발에 최적화된 형태의 반도체, 신경망 처리 장치 (Neural Prosessing Unit, 이하 NPU) 개발에 힘을 싣고 있다. 국내에서는 퓨리오사AI와 리벨리온, 사피온 등이 시제품 혹은 상용 제품을 내놓은 상황인데, 가장 주목도가 높은 제품이 지난해 퓨리오사AI가 출시한 NPU ‘워보이’다.

퓨리오사AI가 만든 1세대 NPU, 워보이(WARBOY). 출처=IT동아

워보이는 이미지 및 비디오 분석, 지능형 교통관리, 초고해상도, 광학 문자인식 및 자율주행 도메인을 위한 인공지능 전용 반도체로, 삼성 파운드리의 14나노 핀펫 공정을 기반으로 제조됐다. 워보이는 최근 과학기술정보통신부가 주관한 AI바우처 등 사업에서 과반 이상의 기업이 선택하는 등 실제 상용화 과정에서도 두각을 나타내고 있다. 퓨리오사AI의 도움을 받아 국산 인공지능 반도체 ‘워보이’의 성능과 현장의 목소리를 들어보았다.

퓨리오사AI ‘워보이’란 어떤 제품인가?

워보이는 최대 64 TOPS(Tera Operations Per Second)의 데이터 처리 속도를 제공하는 NPU다. TOPS는 초당 1조 번의 연산을 처리한다는 의미로, 부동소수점 연산에 대한 단위는 FLOPS, 정수처리를 위한 단위는 TOPS를 사용한다. 대조군인 엔비디아 A2와 INT8(8비트 정수 처리) 속도가 36 TOPS, 정확도를 떨어뜨리는 희소성(sparsity) 처리 시 72 TOPS인 점을 감안하면 심화학습(딥러닝) 처리 속도는 워보이가 앞선다.

워보이는 FHHL(위쪽), HHHL(아래쪽) 두 가지 폼팩터로 제작된다. 출처=IT동아

제품 폼팩터는 FHHL(Full-height half-length), HHHL(Half-height half-length) 두 종류로 제공되고, 호스트 인터페이스는 PCIe Gen 4 8레인이다. 열설계전력(TDP)은 구성에 따라 40W에서 60W 사이며, 동작 온도는 0~50도, 방열 구성은 패시브 및 액티브 쿨링 모두 지원한다. 메모리는 32MB가 온칩 메모리(SRAM)로 구성되며, 4266Mbps 동작 속도의 LPDDR4X 메모리가 16GB에서 최대 32GB 구성으로 탑재된다. 최대 메모리 대역폭은 초당 66GB다.

워보이가 8개 장착된 시스템. 출처=IT동아

시스템 규모는 일반적인 AI 추론(Inference) 업체를 기준으로 서버 한 대당 워보이 2대, 4대, 8대의 구성을 사용하며, 필요에 따라 최대 20대로 시스템을 구성한 경우도 있다. 특히 동영상 화질 개선 애플리케이션 등의 시스템은 고화질 콘텐츠에 대한 노이즈 저감(Denoising) 성능을 확보하기 위해 서버 한대당 12개의 워보이를 장착한다.

MLPerf로 살펴보는 워보이 NPU의 성능

워보이의 성능은 이미 ML커먼즈(MLCommons)의 인공지능 벤치마크, MLPerf를 통해 증명됐다. MLPerf는 전 세계 스타트업, 선도기업, 학계 및 비영리 단체 등 50개 이상의 창립 멤버와 계열사가 설립한 ‘ML커먼즈(MLCommons)’에서 진행하는 인공지능 성능 시험으로, 현재 전 세계 인공지능 반도체의 성능 지표로 사용된다. 퓨리오사AI는 ML커먼즈의 창립 멤버이며, 2019년 아시아권 스타트업으로는 처음으로 MLPerf에 등재되기도 했다.

MLPerf는 학습(Training)과 추론(Inference) 테스트로 구성되며, 크게 이미지 분류, 물체 감지(경량), 물체감지(중량), 생체 의학 이미지 분할, 자동 음성 인식(ASR), 자연어 처리(NLP), 추천, 강화학습에 대해 다룬다. 퓨리오사AI의 워보이는 지난해 5월 MLPerf v2.0의 추론-엣지, 닫힘(Inference-Edge, Close) 분야에 대한 테스트를 진행했으며, 이미지 인식과 물체 감지 경량 및 중량 세 개에 대한 테스트를 진행했다.

위쪽부터 엔비디아 A2 1개, A2 2개, 퓨리오사AI 워보이로 구성된 비교표. 노란색이 워보이 결과다. 출처=IT동아

워보이 시스템은 슈퍼마이크로 SYS-420GP-TNR에 인텔 제온 플래티넘 8368Q를 탑재했으며, 비교군으로 엔비디아 A2 한 대에 슈퍼마이크로 SYS-220HE-FTNR, 인텔 제온 골드 6338N을 탑재한 제품이 있다. 이미지 분류 항목에서 워보이의 단일 스트림 레이턴시는 0.71ms, 다중 스트림 반응 시간은 3.97ms로 나타난다. 이때 엔비디아 A2는 각각 0.7ms, 3.41ms로 조금 더 빠르며, 오프라인 시 초당 이미지 처리 수는 2천735.6장이었다. 워보이는 반응 시간은 느렸지만 처리량 자체는 2천758.44장으로 조금 더 빨랐다.

워보이는 물체감지 (경량) 항목에서 A2 두 대에 가까운 성능을 보여준다. 출처=IT동아

물체 감지(경량) 항목에서는 워보이의 단일 스트림 레이턴시가 0.36ms, 다중 스트림 레이턴시가 2.05ms로 나타났고, 엔비디아 A2가 각각 0.46ms, 2.26ms로 확인됐다. 하지만 실질 처리량은 엔비디아 A2가 4천408.99개일 때 워보이가 8천762.15개로 두 배 가까운 처리량을 보인다. 실제로 동일 시스템에 A2 두 대를 엮은 시스템의 처리량이 9천362.19개니 이미지 처리 효율은 기대 이상이다.

물체감지 (중량) 항목에서도 워보이는 단일 스트림 13.43ms, 다중 스트림 107.87ms으로 초당 79.92개의 데이터를 처리했는데, 이는 단일 16.01ms, 다중 125.02ms로 초당 66.92개를 처리한 엔비디아 A2에 상당히 앞선 수치다.

소프트웨어 개발 키트(SDK) 배포, 실전에서도 활약 중

플랫폼별 구축 도구 세트인 소프트웨어 개발 키트(SDK)의 배포도 워보이의 강점이다. 퓨리오사AI는 NPU 동작에 필요한 기본적인 예제코드를 깃허브(Github)를 통해 배포하고 있으며, 워보이 NPU 소개 및 활용에 필요한 소프트웨어 및 가이드, 명령 도구, 컴파일러, 모델 양자화 등의 내용을 담은 ‘FuriosaAI NPU 및 SDK 0.9.0 문서’도 누구나 열람할 수 있도록 제공하고 있다.

퓨리오사AI가 깃허브를 통해 배포하고 있는 SDK 도구. 출처=깃허브

퓨리오사AI 관계자는 “퓨리오사AI는 워보이로 인공지능 서비스를 개발하는 기업들이 필요한 정보를 직접 확인할 수 있게 깃허브에 관련 내용 및 SDK 문서를 공유하고 있다”라면서, “SDK를 제공하고 업데이트하는 이유는 소프트웨어 역량 확보가 인공지능 반도체의 경쟁력을 좌우하는 큰 기준점이라고 생각하기 때문이며, 전 세계 시장 눈높이에 맞는 풀스택 엔지니어링을 수행할 수 있는 근본 개념 설계 역량을 바탕으로 알고리즘, 소프트웨어, 그리고 하드웨어 개발을 수직 통합하는 역량을 갖추고자 노력해 왔기 때문이다”라고 말했다. 또한 “대다수 NPU 제조사들이 우리만큼 자료를 제공하지 못하는데, 이 부분에서 많은 수요 기업들이 자사 기술력을 신뢰하는 듯하다”라고 덧붙였다.

하드웨어 및 소프트웨어를 모두 갖춘 덕분에 이미 상용 서비스에도 도입이 돼있다. 카카오엔터프라이즈는 이팝소프트의 ‘말해보카’ 영어사전 앱에서 광학문자인식(OCR) 기능에 워보이를 활용하고 있다. 영어 문장이 포함된 사진을 촬영하면 앱이 해당 문장을 텍스트화하는데, 이 과정에서 워보이 NPU가 문자를 인식한다. 현재 카카오 i 클라우드는 퓨리오사AI 워보이 NPU 12대가 4개의 베어메탈 서버에 장착돼 있고, 올해 안에 워보이 NPU 카드 16장, 베어메탈 서버 10대를 추가할 계획이다.

써로마인드는 인공지능 추론 및 클라우드 기반 AI 서비스에 워보이를 활용할 예정이다. 출처=써로마인드

AI 스튜디오, 비전 솔루션 등을 개발하는 써로마인드(SURROMIND)는 다중 분류(Multi-class Classification)의 추론 및 클라우드 기반의 음원 추천 시스템에 워보이를 활용할 예정이다. 써로마인드 정헌수 연구원은 “워보이는 우리가 요구하는 결과에 부합하는 하드웨어 성능을 갖추고 있으며, SDK 등 기술 문서도 개발자에게 익숙한 포맷으로 잘 정리해 놨다”라면서, “워보이의 빠른 응답 속도 및 성능 덕분에 맞춤형 음원 목록을 더욱 빠르게 추론해서 반환할 것으로 기대하며, 사업 규모가 커짐에 따라 늘고 있는 추론 요청도 해소할 수 있으리라 본다” 라고 활용처를 밝혔다.

근거 있는 자신감, 선택은 시작됐다

퓨리오사AI 워보이는 빠른 제품 양산을 앞세워 국산 NPU 시장에서 두각을 나타내고 있다. 출처=IT동아

시장에서 워보이에 주목하고 있는 이유는 결국 우수한 와트당 성능, 그리고 수급의 안정성과 관련돼 있다. 오늘날 컴퓨터 서버는 대량의 전력을 소모하며 이를 유지하기 위한 자원이 꾸준히 투입돼야 한다. 하지만 RE100 등의 탄소 중립은 물론 EU 공급망 실사처럼 실질적인 소비전력 감축과 그 대안이 요구되는 상황이다. 기업 입장에서 더 나은 성능을 확보하고, 시장의 요구에 발맞추기 위해서라도 장기적으로 GPU를 NPU로 바꿔야 하는 상황이다. 특히 지금처럼 GPU 수요가 폭발해 품귀 현상을 겪는 상황에서는 NPU가 매력적인 대체재로 떠오르는 상황이다.

퓨리오사AI 워보이를 채택한 딥핑소스(Deeping Source) 김태훈 대표의 경우 “워보이를 선택한 가장 큰 이유는 소프트웨어 개발 편의성 때문이다. 엔비디아를 제외하면 툴킷이 직관적이거나 쉬운 기업이 거의 없는데, 퓨리오사AI의 워보이는 바로 당일에 작동 결과를 알 수 있을 정도였다”라고 선택의 이유를 말하며, 래블업(Lablup Inc) 신정규 대표는 “고해상도 이미지 전처리 및 이미지 콘텐츠 인식 등에 관련된 모든 분야, 감시 체계 및 자율주행 데이터 처리 분야에서 워보이의 가능성을 보고 있다. 향후 시각 인식 영역을 넘어 다양한 영역에서 퓨리오사 AI의 NPU가 전개될 것으로 보고 워보이와 통합 작업을 진행하고 있다”라고 말한다.

국내의 여러 NPU 제조사들의 선의의 경쟁을 펼치고 있지만, 유독 퓨리오사AI의 워보이가 앞서나가는 배경엔 이런 현장의 목소리가 있다.

글 / IT동아 남시현 (sh@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)

번호	제목	글쓴이	작성일	조회	추천
설문	운전대만 잡으면 다른 사람이 될 것 같은 스타는?	운영자	24/04/15	-	-
3714	AI 품은 LG전자 에어컨, 판매량 청신호	IT동아	04.19	43	0
3713	[생성 AI 길라잡이] 전문 지식 없어도 음원 제작 거뜬 ‘AI 작곡’ [1]	IT동아	04.19	2021	4
3712	G.O.D의 길·촛불하나 M/V, 영국서 리메이크로 재탄생	IT동아	04.19	47	1
3711	나띵프로젝트, 캐릭터로 더 친근해진 '플랍플랍 버블바스' 입욕제 출시	IT동아	04.19	30	0
3710	[KESIA 시드팁스] 메이커런스 “아이와 부모, ‘반차’로 함께 힐링하세요” [1]	IT동아	04.19	715	0
3709	디지포레 “대기업 위주 디지털트윈 생태계, 중소기업 확산 위한 교두보 마련”	IT동아	04.19	750	0
3708	아웃도어 플랫폼 '데얼스', 2024 스포츠산업 창업 도약 기업 선정	IT동아	04.19	30	0
3707	클랫폼, 스마트팜 활용 도농 융복합단지 조성 추진	IT동아	04.19	27	0
3706	박스테이션, 주차 요금 핸즈프리결제 솔루션 상용화에 박차	IT동아	04.19	26	0
3705	제이쓰리씨, 해양 시뮬레이터 개발로 ‘대한민국 우수기업’ R&D 대상 수상	IT동아	04.19	28	0
3704	단독질주 엔비디아, 추격나선 인텔·AMD... '변수는 1nm 파운드리'	IT동아	04.19	333	0
3703	[농업이 IT(잇)다] 팜비오스 “LED 조명·인도어팜 솔루션으로 기후·인력난 문제 해결”	IT동아	04.19	23	0
3702	AI가 이끄는 설계·엔지니어링 혁신…’카티아 유저데이’ 현장	IT동아	04.18	48	0
3701	블록체인 산업 트렌드·발전 방향 확인하는 자리, 2024 BCMC	IT동아	04.18	41	0
3700	핀카(FINCA), 3D 초개인화 서비스 '마리테'로 침구 시장 공략	IT동아	04.18	667	1
3699	차트분석 도구 ‘트레이딩뷰’ 파고들기 - 7	IT동아	04.17	70	0
3698	[뉴스줌인] LPDDR5X 시장, 삼성전자 신제품 개발로 경쟁 ‘후끈’	IT동아	04.17	138	0
3697	모니터암·전동식 책상·의자가 사무실 '필수'로 떠오르는 이유는? [1]	IT동아	04.17	1443	1
3696	[스타트업-ing] 씨지인사이드 “법률·규제 인공지능 도우미 전파”	IT동아	04.17	76	0
3695	'성능ㆍ휴대성' 겸비한 고성능 노트북 PC들이 온다 [1]	IT동아	04.17	607	1
3694	[자동차와 法] 공공기관의 친환경차 의무구매제도 현황에 대하여 [1]	IT동아	04.16	306	0
3693	티맵에 숨어 있는 유용한 기능 활용해 보니	IT동아	04.16	82	0
3692	로보락 “품질·편의성으로 고객 중심 가치 구현할 것” [3]	IT동아	04.16	831	0
3691	[뉴스줌인] RDIMM 메모리 출시한 커세어, 일반 메모리와의 차이점은?	IT동아	04.15	101	0
3690	인공지능 활용한 게임 내 그래픽 가속, 현재와 미래	IT동아	04.15	103	0
3689	[월간자동차] 24년 3월, 신차·중고차 판매 모두 상승…기아 쏘렌토 1위 고수	IT동아	04.15	885	0
3688	‘카드부터 신분증까지’ 갤럭시 스마트폰 쓴다면 지갑 말고 이렇게![이럴땐 이렇게!] [4]	IT동아	04.15	1197	3
3687	“전통주 번개배송은 새로운 경험의 시작이 될 것” 박준형 술담화 CSO	IT동아	04.12	190	0
3686	[생성 AI 길라잡이] 애플이 만들 인공지능 서비스, 어떤 모습일까?	IT동아	04.12	215	0
3685	2024년은 온디바이스 AI 시대, 왜 'AI PC'는 지금 주목받나? [3]	IT동아	04.12	7142	4
3684	‘낭만국시’ 우승완 공동대표 “춘천 원도심 상권르네상스로 스마트 비즈니스 발돋움”	IT동아	04.12	157	0
3683	[인터뷰] 유니버설 로봇 “글로벌 1위 협동로봇 앞세워 韓 시장 공략”	IT동아	04.12	900	1
3682	영상 촬영의 세계를 넓혀주는 파트너, DJI RS 4	IT동아	04.12	151	0
3681	[KESIA 시드팁스] 하와이컴퍼니 “수포자 문제 해결할 교육 솔루션, 여기 있습니다”	IT동아	04.12	146	0
3680	이더리움 상승세 'ETF 승인 기대감·네트워크 업그레이드' 영향	IT동아	04.12	1128	0
3679	[농업이 IT(잇)다] 투마루, "푸드 업사이클링으로 김천 호두 진심 전할 것"	IT동아	04.12	149	0
3678	[시승기] 차체 키우고 첨단 기술로 무장...‘BMW 뉴 X2’ [6]	IT동아	04.11	2248	3
3677	[KESIA 시드팁스] 유기성 폐기물 처리 혁신으로 친환경 세상 이룰 것, 이성범 예쓰바이오 대표	IT동아	04.11	146	0
3676	퀄컴, 임베디드 월드 2024에서 새 IoT 칩 및 산업용 플랫폼 공개 [2]	IT동아	04.11	971	1
3675	AMD, 성능 10배 높인 '2세대 버설 AI 엣지·프라임' 임베디드 칩 출시	IT동아	04.11	424	0
3674	필수 가전 등극한 건조기, ‘타워’ 다음은 ‘콤보’? [10]	IT동아	04.10	5955	0
3673	차트분석 도구 ‘트레이딩뷰’ 파고들기 - 6	IT동아	04.09	173	0
3672	전기차도 에너지효율 표시…‘5단계 연비등급제’ 전면 시행	IT동아	04.09	156	0
3671	[EV 시대] 미래 모빌리티 핵심 '전동화와 SDV' [1]	IT동아	04.09	6290	1
3670	가상자산 거래소 2023년 부진한 실적, 올해는 반등 노린다	IT동아	04.09	158	0
3669	[IT신상공개] 지연시간 줄인 연주용 무선 헤드폰, 야마하 YH-WL500	IT동아	04.09	402	2
3668	[리뷰] 좋은 거 다 담았는데 이 두께가 나와? 에이수스 ROG 제피러스 G16(2024)	IT동아	04.08	174	0
3667	[뉴스줌인] 삼성 올인원 Pro, 일체형 PC 한계 넘을까?	IT동아	04.08	259	0
3666	윤곽 드러난 PCIe 7.0··· '최대 512GB 대역폭으로 AI 시장 보조'	IT동아	04.08	177	0
3665	[신차공개] BMW ‘뉴 X2’ 출시·로터스 ‘에메야’ 제원 공개	IT동아	04.08	168	0

최근 방문

즐겨찾기

즐겨찾기 갤러리

갤러리 이슈박스, 최근방문 갤러리

연관 갤러리

개념글 리스트

차단하기

[IT동아 갤러리]

갤러리 본문 영역

퓨리오사AI ‘워보이’란 어떤 제품인가?

MLPerf로 살펴보는 워보이 NPU의 성능

소프트웨어 개발 키트(SDK) 배포, 실전에서도 활약 중

근거 있는 자신감, 선택은 시작됐다

▶ '인공지능 각축전'으로 거듭난 컴퓨텍스 2023, 올해 주목받은 기업들은?▶ '인공지능 핵심 기업으로 우뚝···' 컴퓨텍스 2023에서 빛난 엔비디아▶ 메타버스 죽고, AI 빛나고, ESG는 여전…컴퓨텍스에서 확인한 트렌드

추천 비추천

댓글 영역

① NFT 발행

② NFT 구매

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

페이지 이동

오른쪽 컨텐츠 영역

알림 설정

알림

디시콘 리스트

디시콘

디시콘 검색결과(0)

인기 디시콘

지갑 연결

▶ '인공지능 각축전'으로 거듭난 컴퓨텍스 2023, 올해 주목받은 기업들은?▶ '인공지능 핵심 기업으로 우뚝···' 컴퓨텍스 2023에서 빛난 엔비디아 ▶ 메타버스 죽고, AI 빛나고, ESG는 여전…컴퓨텍스에서 확인한 트렌드