디시인사이드 갤러리

갤러리 이슈박스, 최근방문 갤러리

갤러리 본문 영역

오토핫키) FPS공방용 짱깨어번역TTS 만들어봤음

ㅇㅇ(59.17) 2025.08.22 04:10:09
조회 107 추천 2 댓글 2
														

맨 아래에 영상있음

나문희불여일견

선영상 후읽기 ㄱㄱ


-------------------------------------------------------------------------




총겜하는데

아시아섭에서 공방돌리면

팀원으로 중국인 걸리는게 97%정도되서

한국인 디코가서 겜하기 귀찮을 때 쓰려고

이것저것 엮어서 만들어봄




7cea8573b28160f039e798a518d60403aa1420e3ba36cfd40263


설국열차 보고 아이디어 얻어서 따라해봄


설정을 중국어로 해서 그렇지

사실 영어도 되고 다른 언어도 됨




7cea8573b28b6af13ae998a518d604030cf2efd5e492ba4f17


윈도우11에 라이브캡션이라고 있음

현재 사운드 스트림의 소리를 인식해서 원하는 언어의 문자로 띄워주는 기능임

중국어(번체)로 띄워주도록 윈도우 언어팩 받고 설정함




만약에 게임에서

게임사운드랑 보이스채팅사운드를

서로 다른 사운드스트림으로 분리하는 옵션이 있으면

그걸 활용하면 인식률이 더욱 좋아짐


윈도우에서 그렇게 사운드를 분리하려면

보이스미터 같은 사운드 믹싱 프로그램 등으로 가능함



7cea8573b28b6af13bee98a518d604036725e9f6cb3c49032a


포토샵에서 이미지 다룰 때

레이어로 나뉘어있지만

사람이 눈으로 볼때는 한장의 사진처럼 보이잖슴



7cea8573b28b6af13bed98a518d604035b9945d467afadcf1a


그거랑 똑같이 사운드도

보이스미터같은 프로그램으로

여러 레이어(스트림)으로 나뉘지만

사람의 귀로 들을 때는 하나로 들리는 것처럼 할 수 있음




시판 노트북 중에 코파일럿+ 인증받은 PC들은

원래 라이브캡션에서 한국어로 자동번역까지 됨


근데 나는 그런 인증따위없는 조립컴이라서

아래 프로그램을 수소문해서 찾음



7cea8573b28b6af13beb98a518d60403896a60a008a4b8988949


https://github.com/SakiRinn/LiveCaptions-Translator

LiveCaption Translator라는 프로그램임


윈도우11의 라이브캡션 기능이 작동하면

그걸 토대로 알아서 설정한 목적언어로 번역해주는 오픈소스 프로그램임



7cea8573b28b6af13be998a518d6040394d9b18f75cd3b29

실시간 녹음기 프로그램같은거라고 보면됨

번역하고자하는 사운드가 재생되는 같은 사운드스트림으로 지정해주면됨


사진처럼

크롬과 LiveCaption Translator를 같은 사운드 스트림으로 맞춰주면

저 사운드스트림에서 나는 소리만 인식함

그러니까 크롬으로 유투브보는 소리만 인식




번역방식은 설정하기에 따라서 구글, 딥엘, LLM기반 AI 서비스 등 등 있는데

구글 제외하면 

일정 토큰 이상 사용하면 유료요금제 써야되서

한무꽁짜인 구글로 쓰는 중



그 중 Ollama라는 방식은

LLM AI 모델을 본인 PC에 다운로드하고 직접 PC 자원으로 AI 모델 돌리는건데

제일 구린 모델도 렘 8기가 정도 소모한다고 함

따라서 게임용으로는 부적합


무료이면서 PC 자원 소모 안하면서 Ollama 방식으로하려면

보이스미터 같은 사운드믹싱 프로그램 활용해서 투컴으로 돌려야할 듯


보이스미터로

같은 공유기 환경 내 내부 네트워크망에서

사운드를 네트워크를 통해서 PC 간 전송시키는거임

내부네트워크 간 전송이라서 거의 무지연이라고 보면됨


서브컴에서 메인컴의 사운드를 보이스미터 네트워크로 받아오고

서브컴에서 Ollama LLM AI돌리고

결과물 한국어TTS를 다시 메인컴으로 보이스미터 네트워크로 전송

하는 방안이 생각나는데 일단은 구글로 쓰기로했으니까 보류



그래서 번역퀄 좇구려도 일단 구글로 쓰고있는데

알아먹을 정도는 되는 듯함


유투브로 중국어 음성 영상 돌려서 테스트해보면

문장 길이가 길어질수록 문맥 파악이 잘되는지 번역퀄이 좋아지고


총겜 공방 중국인 팀원이 말하는

중국어 음성 보이스채팅은

보통 게임 브리핑하는거라서 짧막 짧막한 단어위주로 말하기 때문에

좀 번역이 난해한 감이 있음

그래도 대강 알아는 들음




오버레이 모드도 지원해서

원모니터에서 게임화면 위에 오버레이 띄우고 그거 기반으로 가능


오버레이 안먹히는 게임은

어쩔 수 없이 듀얼모니터에 저 프로그램 띄워놔야함

그런 게임은 듀얼모니터 필수




7cea8573b28b6af138e798a518d604039bd730eb1b0a44978ecb


7cea8573b28b6af139ed98a518d604031da9e7bf2c97298148


7cea8573b28b6af139ec98a518d60403b0fe1ca7b7c78790fd


LiveCaption Translator 프로그램의

번역된 한글 문장 프롬프트를

주기적으로 읽어서

윈도우11 한국어 TTS 혜미로 말하게해주는

오토핫키 스크립트임



LiveCaption Translator 프로그램에서

실시간으로 한글 문장이 번역되는데

중국어 음성이 끝나기 전까지는

계속 번역된 한글 문장이 업데이트되면서 바뀜


당신을 -> 당신을 봅니다 -> 당신을 뵙습니다 -> 당신을 오랜만에 뵙습니다

이런식으로 말끝나기 전까지는 실시간으로 바뀜


따라서 문장이 완성되었다를 판별하기 위해서

OCR한 텍스트가 1초 동안 변동이 없으면 TTS를 발동시킴



NirCmd라는 프로그램으로 모니터의 특정 부분을 캡쳐해서 이미지파일로 저장하고

Tesseract OCR이라는 프로그램으로 캡쳐한 이미지파일을 텍스트로 읽음


오토핫키에서 윈도우 파워쉘을 호출해서


문자열을 정제하고

이전 시행의 문자열과 비교해서 중복되는 부분 버리고


최종적으로 문장을 만들어서

윈도우11의 한국어 TTS 혜미로 읽도록 명령함



1문장 당 1파워쉘 호출이고

연속적으로 파워쉘 호출이 되서 쌓일 수 있음


현재 파워쉘의 TTS가 종료되기 전까지는

다른 파워쉘의 TTS는 대기 상태에 있음


파워쉘 호출될 때마다 프로세스ID를 오토핫키 내의 큐에 넣어서

현재 실행 중인 것과 예약된 파워쉘의 TTS들을 관리함



이 오토핫키 내의 큐를 활용해서

가끔 OCR 찐빠로 이상한 문장이 TTS로 출력될때가 있으면

사운드 공해를 방지하기위해서

단축키를 통해서 수동으로 TTS를 종료시킬 수 있음


나는 눌러서말하기키 2번 연속 따닥 눌르면 

파워쉘TTS 강제종료 시키기로 해둠





그냥 한번 영상으로 보는게 빠를듯


유투브 영상 안보이면


모바일웹말고

데스크탑버전웹으로 ㄱㄱ


지금은 코드 좀 최적화해서

영상보다 지연시간 2초정도 더 줄인상태임


ㅍㅌㅊ??

추천 비추천

2

고정닉 0

0

댓글 영역

전체 댓글 0
본문 보기

하단 갤러리 리스트 영역

왼쪽 컨텐츠 영역

갤러리 리스트 영역

갤러리 리스트
번호 제목 글쓴이 작성일 조회 추천
설문 순간의 말실수로 이미지 타격이 큰 것 같은 스타는? 운영자 25/09/01 - -
AD 가전디지털, 신학기 페스타! 운영자 25/08/29 - -
2884245 오늘의 발명 실마리: 음악, 책, 이미지, 영상 링크 추천 능력 측정기 발명도둑잡기갤로그로 이동합니다. 08.25 65 0
2884244 오늘의 작사 실마리: 한 번만 들어도 마음에 문신처럼 새겨지는 노래 발명도둑잡기갤로그로 이동합니다. 08.25 56 0
2884242 인터넷이 무법지대가 된 이유는 애초 인터넷 설계를 잘못 해서다 발명도둑잡기갤로그로 이동합니다. 08.25 58 0
2884240 사회참여 예술을 잘 안하는 이유는 발명도둑잡기갤로그로 이동합니다. 08.25 80 0
2884239 코딩 아조씨 특징 [1] ㅇㅇ(211.193) 08.25 148 0
2884238 Lovelyz(러블리즈) _ Wag-zak(여름 한 조각) [1] 발명도둑잡기갤로그로 이동합니다. 08.25 70 0
2884237 라디오를 소재로 한 영화 발명도둑잡기갤로그로 이동합니다. 08.25 55 0
2884233 Interstella 5555: The 5tory of the 5ecre 발명도둑잡기갤로그로 이동합니다. 08.25 62 0
2884231 누가 더 유명함 팝스타 축구선수 [2] 디바(59.28) 08.25 122 0
2884230 요즘 마틴 파울러나 켄트벡 전부 AI 워크플로우 통합 강의하고 다녀서 [1] ㅆㅇㅆ(124.216) 08.25 91 0
2884229 일단 내일은 오랜만에 시간 여유가 있으니 프갤에 CS글이나 쓰고 ㅆㅇㅆ(124.216) 08.25 75 0
2884228 AI 코딩을 안하면 프리로써 못 살아남음 요즘 프리 하나 완성 가격 [2] ㅆㅇㅆ(124.216) 08.25 128 0
2884223 AI를 쓰면서 느끼는 장점과 단점 [5] ㅆㅇㅆ(124.216) 08.25 137 0
2884221 친구가 너무 언더도그마의 화신같은 존재라 말이안나옴 [4] 공기역학갤로그로 이동합니다. 08.25 120 0
2884219 책을보면 개발할시간이없고 개발하면 책을뵬시간이없구나 [5] 밀우갤로그로 이동합니다. 08.25 103 0
2884218 https://www.queup.net/ 간이 침투검사 결과 발명도둑잡기갤로그로 이동합니다. 08.25 74 0
2884216 흉드라 팀뷰어 자꾸 끈겨.... 좀 도와줘 어케 뚫어요?? ㅠㅠ ㅇㅇ(59.25) 08.25 64 0
2884209 공무원이 짱이다 주4.5일제도입, 월급인상 ㅇㅇ(211.193) 08.24 152 0
2884205 프로그래밍 이론 책 읽다보면 여전히 아는게 부족하다 [2] ㅆㅇㅆ(124.216) 08.24 102 0
2884204 조언을 구하고 싶습니다 [4] 프갤러(121.45) 08.24 134 0
2884203 Floating Points - Silhouettes I, II and 발명도둑잡기갤로그로 이동합니다. 08.24 54 0
2884202 영어잘하냐 ㅇㅇ(58.229) 08.24 83 0
2884200 ‘포스트 박찬욱 봉준호’는 정말 없나 [라제기의 슛 & 숏] 발명도둑잡기갤로그로 이동합니다. 08.24 68 0
2884197 C++ 인생 40 년 갈아 넣었습니다. 프갤러(59.16) 08.24 86 0
2884195 코딩은 그냥 it분야의 1%임 ㅇㅇ갤로그로 이동합니다. 08.24 112 0
2884193 너드면 보안와라 [1] ㅇㅇ갤로그로 이동합니다. 08.24 128 0
2884191 외계인이 지구를 침략하면 아마겟돈이 가장 손 쉬움 [1] ♥지나가던냥덩이♥갤로그로 이동합니다. 08.24 91 0
2884189 “라식 없이 1분 만에 시력 교정”…전류로 각막 성형 성공 발명도둑잡기갤로그로 이동합니다. 08.24 103 0
2884188 나님 플롯 생각낫는데 예전에 어디서본듯한;; ♥지나가던냥덩이♥갤로그로 이동합니다. 08.24 78 0
2884186 ㅇㅅㅇ⭐+ ♥지나가던냥덩이♥갤로그로 이동합니다. 08.24 56 0
2884185 꽁꽁냥덩이는 어또케 집냥덩이 됫을까? ♥지나가던냥덩이♥갤로그로 이동합니다. 08.24 88 0
2884184 나님 다음닉 뭘로할깡.. [3] ♥지나가던냥덩이♥갤로그로 이동합니다. 08.24 84 0
2884182 '버스, 정류장' 예고편 발명도둑잡기갤로그로 이동합니다. 08.24 80 0
2884179 한투증 api쓰려면 계좌만들어야함?ㅋㅋ [1] 밀우갤로그로 이동합니다. 08.24 76 0
2884176 요새 유행인 Golden... 발명도둑잡기갤로그로 이동합니다. 08.24 62 0
2884167 ㅇㅅㅇ ♥지나가던냥덩이♥갤로그로 이동합니다. 08.24 63 0
2884165 영어회화 공부해볼까 해서 공기역학이 광고하던 VRCHAT 가입했다 [1] 발명도둑잡기갤로그로 이동합니다. 08.24 81 0
2884163 뉴프로라는 새로운 IT 커뮤니티 나왔더라 [2] 헬마스터갤로그로 이동합니다. 08.24 101 0
2884162 harha - 매스커레이드 [1] 발명도둑잡기갤로그로 이동합니다. 08.24 67 0
2884160 내일 잼난일 많을듯 ㅎㅅㅎ ♥지나가던냥덩이♥갤로그로 이동합니다. 08.24 77 0
2884154 왜 나님이 쓰는글 계속 모니터링 하는거에양? ♥지나가던냥덩이♥갤로그로 이동합니다. 08.24 76 0
2884151 태국기 맞잖아요 [1] 발명도둑잡기갤로그로 이동합니다. 08.24 74 0
2884144 "SNS까지 뒤져본다"…美 거주·취업 때 반미 정서 심사 발명도둑잡기갤로그로 이동합니다. 08.24 59 0
2884143 내 인생목표 현실적으로 이룰 수 있으려나? [2] ㅇㅇ(58.229) 08.24 109 0
2884138 ㄴㅏ님 주무시기전 소통⭐+ 질문 받음☘+ ♥지나가던냥덩이♥갤로그로 이동합니다. 08.24 67 0
2884130 태극기가 국기면 태국기라고 해야 되는거 아닌가요? [1] 발명도둑잡기갤로그로 이동합니다. 08.24 73 0
2884128 웹앱땔깜애들 요즘 걍 측은지심으로바뀜 [1] 네오커헠(58.225) 08.24 142 1
2884127 언어 프레임워크 강함 순위 [2] 프갤러(106.101) 08.24 121 0
2884126 저장용 ♥지나가던냥덩이♥갤로그로 이동합니다. 08.24 58 0
2884122 트럼프 모바일 첫 스마트폰 근황 발명도둑잡기갤로그로 이동합니다. 08.24 66 0
뉴스 “유방암, 뇌까지 전이…” 원걸 유빈, 가슴 찢어지는 소식 전했다 디시트렌드 10:00
갤러리 내부 검색
제목+내용게시물 정렬 옵션

오른쪽 컨텐츠 영역

실시간 베스트

1/8

뉴스

디시미디어

디시이슈

1/2