本站的文章小编为大家收集提供斗鱼上线AI字幕：洞悉听障人群与海外主播需求 打造极致用户体验
如何在静音环境中观看直播？海外主播讲外语听不懂怎么办？最近，这一需求得到了解决。
关注英雄联盟LPL夏季比赛的用户不难发现，斗鱼官方工作室增加了一个“不寻常”的功能。当用户选择“字幕线”时，工作室底部会出现一行动态文本。从BP环节的战略规划到场上的快速变化，解释的激情和解释都没有落下，直播内容得到了更准确的翻译。
据了解，这是斗鱼新推出的人工智能字幕功能。它不仅可以将直播视频流中的音频实时语音识别转换为文本，还可以以字幕的形式同步显示在直播视频流中，还支持中、英、韩等多语种的翻译。目前，斗鱼已经向数十个直播室开放了这一功能，涵盖了英雄联盟S10、英雄联盟LPL夏季赛等大型赛事。
该行业首创“游戏语言识别模型” 响应速度为毫秒级
斗鱼通过将机器算法与现场场景相结合，率先突破了人工智能字幕的技术障碍。值得注意的是，与市场上的同声传译、影视剧字幕等翻译产品相比，人工智能字幕在游戏场景中的登陆并不容易。
由于游戏直播的特点，主播直播的内容中有很多游戏术语，尤其是在“腕豪”、“雷欧娜”、“集火输出”、“阵容强势期”等专业强势赛事直播中，传统的翻译软件通常很难理解。因此，斗鱼人工智能字幕技术对游戏直播内容的识别更“重义”，而不是“重音”。
同时，赛事直播室的讲解、游戏和场地的噪音不仅需要识别，还需要打磨工程协作。要处理好字幕与语音之间的延迟、字幕悬停时间、断句等细节体验。为此，斗鱼制定了“定制游戏语言识别模型”，提高了团队名称、团队成员ID等硬核语义、对设备、技能等内容的理解能力，同时过滤“垃圾话”等。并通过ASR、NLP算法在主播声、游戏声等复杂的语音环境中实现了高精度的识别，可以支持英语、日语、汉语等语言的识别和翻译，涵盖不同人群的语言习惯。
据粗略统计，在保证毫秒响应速度的同时，斗鱼人工智能字幕的翻译精度也可以保持在90%以上。未来，在使用过程中，由于数据沉淀和机器自学的积累，人工智能对游戏术语和游戏梗的理解精度将逐步提高，观众的体验将不断迭代。
支持中、英、韩多语互译 扩大多样化的场景需求
人工智能字幕功能上线的背后，是斗鱼对用户痛点的准确捕捉，也是对直播产品体验的严格要求，也是拓展多元化业务的探索和沉淀。
首先，人工智能字幕可以满足用户多样化的场景需求，大大提升了直播观看体验。随着5g技术的发展，用户观看直播的场景逐渐从住所、网吧等转移到公交、地铁、商场等公共场所。一方面，人工智能字幕可以从嘈杂的环境声音中解放用户的耳朵，使现场观看更加方便；另一方面，独特的中国、日本、英国和韩国多语翻译功能也可以让大多数用户理解海外比赛，减少观看过程中的语言障碍。
其次，人工智能字幕满足了听障人士的需求。据统计，我国听力残疾人约2780万，占全国残疾人的30%以上。今年两届会议的《政府工作报告》也明确指出，数字产品的设计应适合社会弱势群体。人工智能字幕的推出可以解决他们难以理解直播内容的问题，使听障人士能够像正常人一样观看直播。
第三，人工智能字幕可以解决海外主播语言障碍的痛点，吸引更多的海外流行主播加入斗鱼；另一方面，通过打磨多语种实时翻译技术，斗鱼将有条件支持新闻发布会内容的直接翻译，如苹果和微软的新产品新闻发布会，开拓商业合作的多元化前景，为其商业化提供想象空间。
比赛期间，大量玩家对语音识别的便利性进行了反馈，特别是“静音环境用户”在直播室进行了热烈的讨论，特别是对该功能的认可。
据了解，斗鱼长期投入技术研发，致力于优化用户体验，在直播技术领域取得了巨大成就。针对直播场景，斗鱼推出了实时回放功能和精彩时刻锚点功能，可以实现直播内容的全过程回顾和快速定位，减少直播卡住的SRT推广技术。人工智能字幕功能的推出，也充分体现了斗鱼对用户需求的强烈洞察。随着平台技术实力的不断提升，斗鱼将以更细致的技术创新为用户带来更极致的产品体验。
