🔼 사용자 표현 완벽 반영, SeamlessExpressive
🔼 화자의 맥락을 이해하는 SeamlessStreaming
🔼 실시간통역, RealTimeTranslation









메타(Meta)는 최신 AI 스위트를 통해 음성 번역을 더욱 자연스럽고 표현력 있게 만들었다. 지난 8월, 메타는 거의 100개 언어에 대한 텍스트 및 36개 언어에 대한 음성을 지원하는 다중 모달 AI 번역 모델인 SeamlessM4T를 공개했다. 이번에는 업데이트된 "v2" 아키텍처를 통해 대화식 번역을 더 spontaneous(자발적)하고 표현력 있게 만들기 위한 두 가지 새로운 기능을 도입했다.



첫 번째 새로운 기능은 "SeamlessExpressive"로, 사용자의 표현을 번역된 음성에 반영한다. 이는 음성의 음조, 음량, 감정 톤(흥분, 슬픔 또는 속삭임), 발화 속도 및 일시정지 등을 포함한다. 이전까지 번역된 음성은 항상 로봇 같았는데, 이번 개발로 인해 이는 현저히 개선될 것으로 예상되며, 일상 생활 뿐만 아니라 콘텐츠 제작에서도 혁신을 가져올 수 있다. 현재는 영어, 스페인어, 독일어, 프랑스어, 이탈리아어 및 중국어가 지원되며, 이 기사 작성 시점에서 이탈리아어와 중국어는 빠져있다.



두 번째 기능은 "SeamlessStreaming"으로, 화자가 계속 말하는 동안 번역을 시작하여 다른 사람이 더 빨리 번역을 듣게 한다. 약 2초 미만의 짧은 지연이 여전히 있지만, 누군가가 문장을 완료할 때까지 기다릴 필요가 없다. 메타에 따르면, 다양한 언어는 다양한 문장 구조를 가지고 있어서 일부 오디오 입력을 공부하기 위한 알고리즘을 개발해야 했으며, 번역된 출력을 생성할 만한 맥락이 있는지 여부를 결정하거나 계속 듣기를 유지해야 했다.



메타의 "Seamless Communication" 스위트에 대한 최신 개발은 구글 및 삼성과 같은 기업들이 제공하는 모바일 통역 도구보다 훨씬 인상적인 것으로 보인다. 이러한 새로운 기능을 일반인이 언제 사용할 수 있게 될지에 대한 정보는 아직 나오지 않았지만, 메타가 언젠가는 이러한 기능을 스마트 글래스에 통합하여 더욱 실용적으로 만들 것으로 예상된다.