aminer智慧手语是一项基于高质量多类型手语语料库、全链路高精度手语翻译算法及跨模态拟人生成技术的创新。它旨在打造高逼真的手语播报数字人生成模型,让听障人群能够无障碍地共享世界。
aminer智慧手语的创立背景
手语是听力障碍人士的主要的交际工具,是用手势比量动作的视觉语言,表形度高、词性结构不发达、拥有自身独特的表达逻辑和特点。
我国听障人群数量达2700万,无障碍设施和专业场景的手语服务资源匮乏,听障人士难以全方位地接收资讯信息。Al技术的快速发展,使高质量语料匮乏、手语语序复杂、高逼真数字人生成难的问题得以解决。Al手语数字人实现了文字内容的语义理解,将其翻译合成手语,并通过虚拟数字人华同学进行播报。
aminer智慧手语的主要功能
1、AI手语播报:为视频增加手语播报
AI手语播报,是视频 / 音频的手语合成,要求实时性,对于语言精炼度要求高。采用基于语言预训练大模型的语义蒸馏算法、Al手语翻译算法、跨模态拟人生成技术,将文本进行精简、翻译,合成数字人手语动作,并与原音视频逐句对齐播出。可用于新闻、电影、电视剧等录播场景的视频手语合成,也可支持电视新闻播报、体育赛事播报、电商直播等实时直播场景。
2、AI手语翻译:连接健听人士和听障人士的翻译官
Al手语翻译,是将文本/语音翻译为数字人手语,生成的手语保留完整中文语义并符合手语表达特点。手语翻译算法以预训练模型为基础,针对中文文本与手语语序差异大、手语语序规则不统一等问题而研发。手语翻译转写速度达到毫秒级,识别准确率达到98.7%。支持移动端、桌面端、后台端全平台,适用于公共服务引导、日常会话、展览展示、智能问答等多种场景。
3、AI手语词典:手语学习的工具书
AI手语词典以《国家通用手语词典》为基础,包含手语词目、拼音、手势说明、相关词等信息,以观看者的角度呈现AI手语数字人手语视频。小程序提供多种检索方式,并依据不同场景分类手语词,便于学习使用。适用人群:听障人士、需要学习手语的人士等、以及手语爱 好者等。