📰 来源：DeepMind | 📅 翻译日期：2026年8月13日
🔗 原文：查看原文
🤖 翻译：DeepSeek AI · 仅供参考
突破性模型SL2T发布
Google DeepMind 手语团队于 2026 年 8 月 12 日发布手语转文本（SL2T）模型，这是一款突破性的翻译模型，为聋人和听力困难用户提供全新的手语功能。
手语AI的缺失
AI 处理口语的能力在近几十年飞速发展，自动翻译、听写和对话界面让听力正常的用户感到轻松自如。然而，这场技术革命尚未覆盖全球 200 多种手语，以及使用这些手语的约 7000 万聋人和听力困难人群。
首次将手语AI带入消费产品
今天推出的大规模多语言手语转文本（SL2T）翻译模型，在质量和通用性上实现了突破。我们首次将手语AI从实验室带入消费产品：SL2T 为 Pixel 11 上的 Gboard 和 Live Transcribe 提供手语转文本听写功能，首发支持美国手语（ASL）转英语。更多设备即将支持，更多语言也将陆续上线。
手语输入的新方式
正如听力正常的用户可以使用听写功能代替打字，这一功能让聋人用户可以在任何需要打字的地方，用手语对着手机输入。你可以用手语搜索网页、起草消息或文档，并让 Gemini 解答问题或执行任务。在 Live Transcribe 中，你可以在对话中用手语回复，而无需来回打字。根据我们的测试者反馈，用 ASL 手语输入比用英语打字更快、更自然、更愉悦。
手语的重要性
手语是全球聋人社区的主要语言，也是聋人文化认同的基石。聋人对打手语、说话、阅读和写作的熟练程度存在巨大差异，因此支持多种模式的访问至关重要。聋人可以像听力正常人受益于口语处理一样受益于手语处理，这项技术还为弥合聋人与听力社区之间的沟通鸿沟开辟了新可能性。尽管具有积极的社会影响潜力，手语AI的进展一直缓慢——既因为构建手语AI面临复杂挑战，也因为对手语本身运作方式存在普遍误解。
SL2T面临的两大核心挑战
与口语转录相比，手语翻译面临两大核心挑战：
- 真正的机器翻译：语音转录是同一语言内从声音到文本的序列映射，而手语是独立的自然语言，拥有独特的语法和词汇。因此，手语翻译需要真正的机器翻译，而不是简单的符号到单词的序列转换。
- 视觉感知：模型必须学会“看见”并理解身体动作。手语通过手、手臂、躯干、头部和面部的同步运动传达含义。在高帧率下准确追踪这些动作，是一项困难且计算密集的计算机视觉任务。
早期的一些手语技术尝试（如手语手套）本质上就受到限制：手语不仅仅是“手上的英语”。它需要对细粒度全身动作进行复杂的视觉感知，并进行完整的语言翻译。SL2T 正是为此而设计。
SL2T的工作原理
我们结合以用户为中心、文化知情的方法与大规模数据扩展来构建 SL2T。模型在超过 100,000 小时的数据上训练，涵盖 50 多种手语——其中约四分之一为 ASL。在不同语言、方言和熟练程度上联合训练，使模型学习共享的底层结构，在我们的实验中优于单语言模型。
为保护用户隐私，SL2T 将手语视为一系列姿态关键点位置，而不是原始摄像头画面。设备端模型（MediaPipe Holistic）追踪手语者的关键点位置，仅将这些几何坐标发送到服务器进行翻译，原始视频会立即丢弃。
SL2T 直接将这些坐标序列翻译为文本，绕过了先前手语翻译工作中广泛使用的中间注释（称为“glosses”）。Glosses 无法捕捉手语的丰富非线性特征，如非手部标记和空间结构。直接从关键点翻译消除了人为的词汇限制，使翻译质量可以直接随数据规模提升。
根据 FLEURS-ASL (sd-test) 等关键基准（评估 ASL 到英语翻译质量），SL2T 是迄今最强的手语翻译模型。SL2T 在零样本测试中取得了 70 BLEURT 的显著分数，远超此前任何报告的结果。但仅优化学术基准并不能保证实际应用中的可用性，因此我们努力解决实际问题，如最小化流式延迟、防止非手语输入的幻觉、确保对 10% 左撇子手语者的公平性，以及改善单手手语（另一只手握智能手机）的性能。
示例输出
原始英语：The Cook Islands do not have any cities but are composed of 15 different islands. The main ones are Rarotonga and Aitutaki.
SL2T 的 ASL → 英语输出：The Cook Islands do not have any cities but are composed of 15 different islands. The main ones are Rarotonga and Aitutaki.
参考资料
- Google DeepMind 博客原文
- FLEURS-ASL 基准数据集
评论已关闭