据悉,Seamless Communication 是 Meta 庆祝自家 AI 研究机构“Fundamental AI Research”成立 10 周年所发表的研究成果。

Meta 介绍称,该套件包含用于加速翻译的“第二代 SeamlessM4T 模型”、口译模型“Seamless Expressive”、 同声翻译模型“Seamless Streaming”,与综合模型“Seamless”,IT之家整理相关信息如下:
SeamlessM4T 模型号称能在翻译时基于用户说话内容,自动联想可能的后文,以加速翻译。


Seamless Expressive 是一种口译模型,号称可以解决“传统 AI 翻译无法抓住用户语调、停顿、读词重轻度的问题”,能够在维持翻译品质的基础上,保存用户情绪、风格、说话速度、停顿和节奏,从而为翻译内容带来更多“情感信息”。

Seamless Streaming 是同声翻译模型,主打 2 秒延迟的语音和文字翻译,支持口译(speech-to-speech translation)、听写翻译(speech-to-text translation,S2TT)及自动语音识别功能(Automatic speech recognition ,ASR)。
而综合模型 Seamless,则是整合了上述三种语言模型,便于通用场景。

目前 Meta 已经将示例视频发布在 GitHub 以及 HuggingFace 网站上,感兴趣的小伙伴们可以点此进行查看。
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。
未经允许不得转载:新聚网 » Meta 推出 Seamless Communication AI 翻译套件:支持近百种语言输入、同声延迟仅 2 秒

新聚网
哈佛大学开源 AI 训练数据集“Institutional Books 1.0”,涵盖馆藏 98.3 万本图书
Android XR 智能眼镜 XREAL Project Aura 重要参数公布:双芯驱动,70+° FoV
全球首个儿科大模型在北京荣华医院落地,诊断准确率优于主治医师平均水平
小米米家前开盖旅行箱 18 英寸开启众筹,369 元
共建韩国最大 AI 数据中心、容纳 6 万个 GPU,亚马逊 AWS 与 SK 集团合作
OpenAI Codex 人工智能编程工具推出新功能:可一次生成多个方案
性能提升 90%,Anthropic 首次公开多智能体系统构建全流程





