내 PC에 인공지능이? 엔비디아 ‘Chat With RTX’ 써보니

IT동아 갤러리

1/3

싱글벙글 일본의 이색 메이드카페 뚱녀카페 명물 동일본 대지진쇼실제 카페 운영비의 상당부분을 의자 교체비용으로 지출한다고 함 ㄷㄷ 작성자 : 김찌냥이

내 PC에 인공지능이? 엔비디아 ‘Chat With RTX’ 써보니

IT동아

2024.02.22 22:50:36

조회 96 추천 0 댓글 0

[IT동아 강형석 기자] 지난 14일, 엔비디아는 윈도우 PC 시스템 내에서 사용 가능한 챗봇, 챗 위드 알티엑스(Chat With RTX)를 공개했다. 이 소프트웨어는 개인 맞춤형 인공지능(AI) 챗봇이라 강조한다. 시스템 내 문서와 메모, 동영상, 그 외 데이터를 인공지능이 인지하고 차후 검색했을 때 즉시 결과를 내놓는 형태다.

엔비디아는 대규모 언어 모델 기반 생성적 사전학습 변환기(GPT LLM)를 개인화할 수 있는 앱이라고 말한다. 상용화된 것은 아니고 일부 기능을 쓸 수 있는 체험판이다. 검색 증강 생성(RAG)과 엔비디아 그래픽 프로세서가 지원하는 명령어(RTX, TensorRT-LLM) 등을 십분 활용한다. 따라서 앱을 쓰려면 8GB 이상 메모리를 갖춘 지포스 RTX 30 시리즈 이상 그래픽카드가 필요하다.

엔비디아 홈페이지에서 Chat With RTX를 내려받을 수 있다. / 출처=IT동아

Chat With RTX는 엔비디아 홈페이지에서 내려받을 수 있다. 해당 이름으로 검색을 하거나 첫 페이지에 별도로 링크가 마련되어 있으니 접속하면 된다. 파일은 약 35GB 정도로 큰 편이니 설치 전, 저장공간을 충분히 확보하자.

설치는 크게 2가지로 이뤄져 있으며 하나는 Chat With RTX와 미스트랄 7B INT4 세트 설치 항목으로 이뤄져 있다. Llama2 세트도 설치파일 내에는 포함되어 있지만 설치 과정 중 선택지는 등장하지 않았다. 설치가 끝나면 바탕화면의 아이콘을 실행하면 된다. 일부 오류를 내는 시스템도 있는 것으로 알려져 있는데 엔비디아 포럼에 해결 방안이 다양하게 있으므로 확인해 보자.

실행하면 명령프롬프트 가동이 먼저 시작되며 관련 파일을 불러온다. / 출처=IT동아

실행하면 명령프롬프트가 먼저 실행되며 몇몇 파일을 불러온 후 별도의 브라우저를 출력하게 된다. 여러 브라우저가 설치된 시스템이라면 무엇을 우선시할지 확인하는 과정을 거친다.

Chat With RTX는 브라우저 상에서 실행된다. 인터페이스 구성은 매우 간단하다. / 출처=IT동아

브라우저가 실행되면 Chat With RTX의 주요 화면이 출력된다. 구조는 매우 간단하다. 먼저 좌측 상단에는 인공지능 모델을 선택할 수 있다. 기본으로 미스트랄 7B INT4 세트가 설정되어 있다. 기자가 사용하는 시스템에서는 Llama2를 선택할 수 없었다. 확인해 보니 해당 명령어를 쓰려면 15GB 이상 비디오 메모리를 가진 그래픽카드를 조건으로 내걸었다. 그러니까 12GB 메모리를 품은 기자의 지포스 RTX 3080 12GB로는 사양을 충족시키지 못했던 것이다.

우측 상단은 데이터 세트를 설정해 원하는 결과를 얻을 수 선택 가능하다. 폴더를 지정해서 구현할지 유튜브 링크를 기반으로 할지 인공지능 모델 기본으로 설정할지 등 3가지 항목 내에서 고르면 된다.

참조파일 기반 아래에서 활용할 경우 인공지능이 인지할 수 있는 폴더를 선택해야 된다. 검색은 문서파일 위주로 가능하며 TXT, PDF, DOC 파일을 지원한다. 폴더를 지정하면 Chat With RTX 프롬프트 내에서 폴더 데이터를 불러들이는 작업을 거치는데 용량과 구성에 따라 소요시간이 천차만별이니 참고하자. 만약 대용량 하드디스크 내 자료를 통째로 불러올 경우 상당한 시간이 필요하므로 가급적 용량이 적은 단일 폴더로 구성하는 게 좋다.

보완할 부분은 많지만, 챗봇의 느낌을 잘 구현한 것이 특징이다. / 출처=IT동아

문서 파일 내 내용을 찾거나 간단한 질문에 대한 답변은 비교적 빠른 시간 내에 알려준다는 것이 Chat With RTX의 특징이다. 무엇보다 흔히 쓰는 인공지능 서비스는 온라인 연결이 필수인데 반해 이 앱은 온라인 연결이 필요 없다. 고급 기능까지 바라는 건 무리지만, 내 시스템에 숨어 있는 문서를 빠르게 검색하고 필요한 결과를 얻는다는 부분은 인상적이었다. 속도도 매우 빠른데 앞서 언급한 것처럼 하드디스크에 폴더 동기화를 했을 경우, 용량에 따라 대응이 느릴 수 있다.

유튜브 대화기능도 마찬가지다. 자주 쓰는 링크를 인식해 두면 시스템 내에 있는 파일 내에 스크립트가 저장되고 검색하면 빠르게 관련 내용을 출력해 준다. 기본 인공지능 모델을 사용하면 사전에 학습된 내용에 기반해 구동된다. 아직 체험판 수준이기 때문에 완벽한 기능을 기대하면 실망할 수 있다. 파일을 검색하고 간단한 궁금증 정도는 해결하는데 도움이 되지만, 복잡한 사항에 대해서는 향후 보완이 필요하다.

RTX 20 시리즈도 인공지능 처리가 가능하지만, Chat With RTX에서는 지원하지 않는 점이 아쉽다. / 출처=IT동아

또한 왜 지원 시스템을 지포스 RTX 30 시리즈 이상으로 설정했는지도 의문이다. 이전 세대인 지포스 RTX 20 시리즈에도 제품에 따라 8GB 이상 메모리, 그래픽 프로세서 내에 인공지능 처리 기능을 품었다. 업데이트될 Chat With RTX에서 지원할지 알 수 없지만, 계속 지원하지 않는다면 1세대 RTX 그래픽카드의 존재 의의가 궁금해진다.

PC 내에서 쓰는 이른바 로컬 챗봇인 Chat With RTX. 네트워크 연결 없이 시스템 내 자원을 검색하고 내용까지 일부 파악할 수 있다는 점에서 잠재력이 느껴진다. 엔비디아에서 앱을 지속적으로 업데이트해준다면 윈도우 운영체제의 부족한 검색기능을 충분히 보완해 줄 것으로 기대된다.

글 / IT동아 강형석 (redbk@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)

▶ Arm, '3세대 네오버스' 로드맵 발표··· 'AI인프라 확산에 기여'▶ [생성 AI 길라잡이] 챗GPT, PC·스마트폰 설치와 활용 ▶ [칼럼] 생성형 AI 시대, 성공적인 도입 전략

고정닉 0

원본 첨부파일 5본문 이미지 다운로드

전체 댓글 0개

등록순

본문 보기

타인의 권리를 침해하거나 명예를 훼손하는 댓글은 운영원칙 및 관련 법률에 제재를 받을 수 있습니다.
Shift+Enter 키를 동시에 누르면 줄바꿈이 됩니다.

갤러리 리스트
번호	제목	글쓴이	작성일	조회	추천
이슈	[디시人터뷰] 라이징 스타로 인정받은 걸그룹, ‘리센느(RESCENE)’	운영자	24/11/08	-	-
설문	축의금 적게 내면 눈치 줄 것 같은 스타는?	운영자	24/11/11	-	-
4204	[스케일업] 운약근답올핏 [2] 한국벤처컨설팅 “강한 인상 줄 수 있는 ‘가치’가 필요하다”	IT동아	08.29	774	0
4203	[스케일업] 스쿨버스 [1] 통학버스 실시간 위치·안전 운행 여부 확인	IT동아	08.28	183	0
4202	원스토어, 글로벌 시장 진출한다…"상장도 재추진" [1]	IT동아	08.28	295	0
4201	델 테크놀로지스, 포럼 통해 'AI의 산업적 가치' 선보여	IT동아	08.28	212	0
4200	[Product-Market-Fit] 잘 팔리는 제품과 서비스의 비밀 [2]	IT동아	08.27	192	0
4199	삼성전자, 홈 시네마용 초단초점 4K 프로젝터, '더 프리미어 9, 7’ 출시	IT동아	08.27	200	0
4198	엡손 “2만 루멘급 고성능 4K 프로젝터로 뉴미디어아트 시장 이끌 것”	IT동아	08.27	143	0
4197	[혁신스타트업 in 홍릉] 이마고웍스 “인공지능 치과 기술 세계 리더로”	IT동아	08.27	5160	0
4196	김민수 비로보틱스 “모든 사람이 로봇과 함께하도록”	IT동아	08.27	165	0
4195	[IT’s 가성비] 갤럭시 S20+, 중고폰 시장에서 더욱 돋보여? [4]	IT동아	08.26	1244	0
4194	[IT하는법] 나만의 QR코드 만들고 사용하는 법	IT동아	08.26	267	0
4193	실시간 전기요금이 궁금하다면?[이럴땐 이렇게!]	IT동아	08.26	227	0
4192	LG전자, 장비 인증 획득으로 ‘5G 특화망’ 사업 본격화	IT동아	08.26	205	0
4191	[스케일업] 파나띠꼬 [2] 매드해터 “브랜딩은 나를 알리는 과정, 브랜드 코어를 단단히 다져라”	IT동아	08.26	935	0
4190	[주간투자동향] PIP랩스, 약 1092억 원 규모 시리즈B 투자 유치	IT동아	08.26	151	0
4189	SKT, 패스키 SaaS로 비밀번호 없는 시대 앞당긴다	IT동아	08.26	146	0
4188	[생성 AI 길라잡이] 간단한 문장 입력으로 영상 만들어주는 ‘핫샷’	IT동아	08.23	226	0
4187	[스케일업] 모넷코리아 [1] “스마트 IoT 솔루션 도입, 의외로 저렴해서 놀랄 것”	IT동아	08.23	287	0
4186	캐논, EOS R1 및 R5 마크 II로 '전문가 시장 주도권' 회복할까	IT동아	08.23	218	0
4185	[스케일업] 비투랩 [1] “펨토초 레이저로 글로벌 임플란트 시장 도전"	IT동아	08.23	851	0
4184	차트분석 도구 ‘트레이딩뷰’ 파고들기 - 23	IT동아	08.23	210	0
4183	[IT하는법] 개인정보 유출로 해킹 걱정된다면, '털린 내 정보 찾기 서비스'	IT동아	08.23	281	0
4182	[스케일업] 반프 [1] “타이어 디지털 전환 시대의 문을 엽니다”	IT동아	08.23	203	0
4181	[시승기] 라인업 첫 고성능 모델 ‘BMW 뉴 X1 M35i xDrive’ [11]	IT동아	08.22	2501	4
4180	[스타트업 첫걸음] 기고를 마치며	IT동아	08.22	4939	1
4179	[IT신상공개] ‘사진놀이’용 토털솔루션, 인스탁스 미니 리플레이	IT동아	08.22	1919	1
4178	한국후지쯔, “손바닥 정맥 인증, DX 여정의 모범사례”	IT동아	08.21	232	0
4177	AI 종합 기업 꿈꾸는 AMD··· ZT시스템즈, 사일로 AI 인수 배경은?	IT동아	08.21	224	0
4176	한국후지쯔 “MC, 제약·바이오 기업 디지털 전환 파트너” [1]	IT동아	08.21	1192	1
4175	공번서 MSI코리아 대표 “노트북 혁신 20년, 원칙 지키며 발전해 나갈 것” [6]	IT동아	08.21	2259	0
4174	[혁신스타트업 in 홍릉] 케이디바이오 “서민의 삶을 바꾸는 미생물 솔루션 선보일 것”	IT동아	08.20	205	0
4173	[자동차와 法] 청라 전기차 화재 사고 관련 법률적 쟁점들 살펴보니	IT동아	08.20	215	0
4172	"똑똑의사, 한국형 왕진제도의 지원자 될 것" [동국대학교 캠퍼스타운] [5]	IT동아	08.20	1356	3
4171	휴먼컨설팅그룹 “국내 환경에 맞춘 HR 솔루션, SaaS 시장까지 확장”	IT동아	08.20	430	0
4170	[월간자동차] 24년 7월, 신차·중고차 판매 증가…BMW5 시리즈 1위 탈환	IT동아	08.19	201	0
4169	폰 하나로 전화번호 2개 쓰려면 이렇게! [이럴땐 이렇게!] [8]	IT동아	08.19	6970	8
4168	업비트·빗썸 상반기 실적, 2분기 들어 감소세	IT동아	08.19	187	0
4167	가상자산 거래소, 이용자 보호 위해 ‘신고센터·상담센터’ 개설	IT동아	08.16	277	0
4166	유럽, 영미권 아이폰에 삼성월렛, 구글페이 도입 가능해져··· 한국은 일단 제외 [9]	IT동아	08.16	1461	2
4165	에이피알, “홈 뷰티 디바이스를 모두가 누릴 수 있도록 개발합니다”	IT동아	08.16	251	0
4164	구글 반독점 철퇴, 검색 시장 '춘추전국시대' 올까? [47]	IT동아	08.14	9044	14
4163	가상자산 급락, 일본 금리 인상과 미국 고용 지표 부진 탓	IT동아	08.14	297	0
4162	[인터뷰] 한백시스템 “바닥형 신호등 주간 시인성 개선해 보행자 안전 확보”	IT동아	08.14	279	0
4161	[뉴스줌인] KT클라우드도 적용한 '액침냉각', 어떤 기술인가?	IT동아	08.14	1033	1
4160	쿠페형 SUV ‘폴스타4’ 출시…‘화재 이력 제로·배터리 안전성’ 강조	IT동아	08.13	329	0
4159	[고려대 미래내일] 청년 일경험 사업, 디지털 기술 인재 무럭무럭	IT동아	08.13	309	0
4158	[리뷰] 퀄컴 스냅드래곤X엘리트 기반 AI PC, MS 서피스 프로 11세대 [1]	IT동아	08.13	867	0
4157	[스타트업人] 신약 개발의 검증인, 트윈피그바이오랩의 '임상시험 PM' 이야기	IT동아	08.13	1103	0
4156	프론트웍스 “영상 의뢰인과 창작자를 위한 허브, 필름어스” [동국대학교 캠퍼스타운]	IT동아	08.13	253	0
4155	[뉴스줌인] 로봇청소기 시장도 ‘빌트인’이 대세 될까? ‘LG 로보킹 AI 올인원’	IT동아	08.12	266	0