텐센트 훈위안이 말하는 동안 바로 따라오는 중국어·영어 동시통역 모델을 오픈소스로 공개했습니다 | DAKER 커뮤니티
텐센트 훈위안이 2026년 10월 26일 실시간 동시통역 모델 Hy-SimulMT를 공개했습니다. 중국어와 영어 사이를 양방향으로, 말소리를 받아 번역된 말소리로 바꿔 주는 음성-음성 모델입니다. 가장 큰 특징은 화자가 말하는 중에 번역을 내보내면서도 원래 목소리 특성을 실시간 복제로 살린다는 점입니다. 회의, 강연, 인터뷰처럼 기다림이 흐름을 끊는 자리를 겨냥했고, 모델 가중치가 허깅페이스와 깃허브에 함께 공개됐습니다.
늦지 않게, 그러면서 정확하게
동시통역의 어려움은 화자가 아직 말하는 동안에 뜻을 파악해 번역을 만들어야 한다는 데 있습니다. 더 기다리면 뜻은 분명해지지만 듣는 사람은 더 오래 기다리고, 먼저 말하면 점진적 이해와 생성의 부담이 커집니다. 훈위안은 이 균형에 집중했다고 설명합니다. 공개된 RealSI 장문 음성 평가에서 Hy-SimulMT는 StreamLAAL 약 3초를 기록해 비교 대상 가운데 가장 낮은 지연을 보였고, 번역 품질 지표 GEMBA는 비교한 오픈소스 모델들과 상용 API 다섯 곳 중 네 곳을 넘었습니다.
지연이 낮다고 해서 번역 품질을 크게 희생해야 하는 것은 아닙니다.
짧은 음성 벤치마크 네 종에서도 FLEURS 90.3, ACL6060 81.2, RealSI-Sentence 84.7을 기록했는데, 특히 RealSI-Sentence 84.7은 표에 오른 모든 시스템 가운데 가장 높은 값입니다. CoVoST2는 75.5로, 항목마다 강점과 개선할 부분이 갈립니다.
전문 통역사와 나란히 비교
실제 내용에서의 성능을 보기 위해, 훈위안은 2026년 9월 이후 새로 올라온 중국어·영어 녹음 18개(각 약 6분)를 모아 평가했습니다. 소프트웨어와 AI, 의료, 제조와 에너지, 자연과학, 농업과 식품, 경영, 법률, 교육, 문화와 관광, 스포츠와 일상 등 열 개 영역을 다룹니다. 여기에 실무 경력이 있는 통역사 여섯 명(중국 통번역 자격 CATTI 1급 3명, 2급 3명)을 초청해 함께 통역하게 했습니다. 회사는 작은 규모의 평가에서 Hy-SimulMT가 전문 통역사와 대등한 번역 품질을 보이면서도 더 낮은 지연으로 반응하는 경우가 많았다고 밝혔습니다. 다만 이 결과는 해당 표본과 참여 통역사, 평가 설정에만 해당하며 음성 품질이나 목소리 유사도 전반을 평가한 것은 아니라고 선을 그었습니다.
목소리까지 옮기지만, 지원 언어는 두 가지
Hy-SimulMT는 실시간 목소리 복제로 원래 화자의 음색을 유지하면서 목표 언어로 말을 만들어 냅니다. 영어에서 중국어 시연에서는 화자 세 명의 음색을 구분해, 번역을 따라가면서도 누가 말하는지 알아보기 쉽게 했습니다. 모델은 BF16, FP8, GGUF와 원문·번역을 함께 내보내는 Interleave 변형으로 나뉘어 공개됐고, 추론은 vLLM 기반 SimulInfer, SGLang-Omni, llama.cpp에서 돌릴 수 있습니다. BF16 가중치는 KV 캐시 전 약 57GiB로 H200 한 장이면 충분하지만, 음성 출력과 목소리 복제에는 별도의 TTS 서비스가 필요합니다. 한국어 사용자가 짚어 둘 점은 분명합니다. 이 모델이 지원하는 언어는 중국어와 영어 두 가지뿐이라, 한국어 통역에 바로 쓸 수는 없습니다.
동시통역·음성 서비스를 보는 팀이 챙길 점
이번 공개에서 가져갈 수 있는 것은 지연과 품질을 함께 공개 벤치마크로 보고한 방식과, 사람 통역사와 직접 맞대 본 평가 틀입니다. 훈위안은 응답 지연을 줄이려고 먼저 말한 뒤 고치는데, 이 수정이 통역사의 자기 교정과 비슷하다는 평가도 함께 실었습니다. 음성·통역 기능을 검토하는 팀이라면, 첫 음성 출력까지 걸리는 시간과 StreamLAAL이 다르다는 점, 그리고 책임이 큰 자리에서는 사람 검토가 여전히 필요하다는 점을 기준으로 삼을 만합니다. 오픈 가중치라 한국어를 포함한 추가 언어로 이어 학습해 볼 여지도 있습니다.
여러분이라면 실시간 통역을 어떤 업무에 먼저 시험해 보고, 어디서 사람 검수를 남겨 두시겠습니까?