与清华合作，支持22种中文方言的语音大模型来了！

APP下载

扫一扫

下载观察者APP

与清华合作，支持22种中文方言的语音大模型来了！
- 张睿佳
分享到：

2025-04-02 20:06:31 字号：A- A A+ 来源：观察者网

最后更新: 2025-04-02 20:54:34

3月26日，一篇名为Dolphin —— 一款专为东方语言设计的语音大模型（Dolphin: A Large-Scale Automatic Speech Recognition Model for Eastern Languages）的论文在arXiv （康奈尔大学图书馆运营的一个开放获取的预印本平台）上发表。

目前，Dolphin 的base与small版模型与推理代码已经全面开源。

据悉，该项目来自海天瑞声和清华大学电子工程系语音与音频技术实验室的合作，两者共同推出了支持40个东方语种，以及22种中文方言（含普通话）的语音识别系统。

在数据方面，该系统的训练数据总时长21.2万小时，其中海天瑞声高质量专有数据13.8万小时，开源数据7.4万小时。

性能层面，通过与OpenAI推出的Whisper在同等尺寸模型的比较，根据参考三个多语言数据集（海天瑞声、Fleurs、CommonVoice）的平均值得出：

Dolphin base版模型的WER（词错率）为 31.8%，而 Whisper large-v3 版模型的词错率为 52.3%。从这个角度看，尽管dolphin基础版模型的规模不到 Whisper large-v3 版模型的十分之一，但在针对这些语言进行评估时，其词错率与 Whisper large-v3 模型相比相对降低了 39%，这凸显了dolphin的性能优势。

具体技术上，Dolphin网络结构基于CTC-Attention架构，E-Branchformer编码器和Transformer解码器，并引入了4倍下采样层。

CTC-Attention架构能够提升模型的识别准确性和效率；Branchformer编码器采用并行分支结构，能够更有效地捕捉输入语音信号的局部和全局依赖关系，为模型提供了更丰富的特征表示；Transformer解码器确保系统能够提供高质量的文本输出；4倍下采样层可以减少输入特征的序列长度，从而加速计算过程，同时保留关键的语音信息，确保模型的识别效果不受影响。

此外，Dolphin还引入了两级语种标签系统，第一个标签指定语种（例如<zh>、<ja>），第二个标签指定地区（例如<CN>、<JP>）。

这种分层方法使模型能够捕捉同一种语言内不同方言和口音之间的差异，以及同一地区内不同语言之间的相似性，从而提高了模型区分密切相关的方言的能力，并通过在语言和地区之间建立联系增强泛化能力。

海天瑞声表示，通过共享技术成果，希望能够吸引更多的开发者和研究机构参与到东方语言语音识别的研究中来，共同推动技术进步。

本文系观察者网独家稿件，未经授权，不得转载。
|

举报
- 违反法律法规
- 垃圾信息、广告
- 色情、淫秽信息
- 人身攻击
- 谣言、不实信息
- 冒充，冒用信息
- 破坏社区秩序
- 其他
- 涉未成年人有害信息
观察者网举报制度规范
确定取消
标签 Dolphin 东方语言语音大模型
- 责任编辑: 张睿佳
- 增利不增收的青岛啤酒，连续六年出现季节性亏损
  
  2025-04-02 20:40 观网财经-消费
- 业绩狂飙的老铺黄金，股价却即将承压？
  
  2025-04-02 20:03 观网财经-消费
- AI拐点到来，大厂集体抢人
  
  2025-04-02 19:49 观网财经-互联网
- 个人电脑就能运行，更便宜的Agent要来了
  
  2025-04-02 18:18
- 完成”瘦身”后，美的置业保留业务营收、利润双双增长
  
  2025-04-02 18:12 观网财经-房产
- 腾讯会议“崩了”？官方回应
  
  2025-04-02 17:47 观网财经-互联网
- 售价超7000元，Meta想用眼镜取代iPhone
  
  2025-04-02 17:16 观网财经-科创
- 京东工业，再度冲刺港股IPO
  
  2025-04-02 17:04 观网财经-互联网
- 内地行业龙头排队融资，香港IPO募资额反超印度
  
  2025-04-02 16:30 观网财经-科创
- 时隔50个交易日，A股两市成交额再度跌破1万亿
  
  2025-04-02 15:24 观网财经-科创
- 全球VR市场三连跌，苹果Vision Pro单季出货暴跌43%
  
  2025-04-02 13:56 观网财经-科创
- 三星折叠机出货暴跌33%，中国品牌集体大增，苹果明年入局？
  
  2025-04-02 13:39 观网财经-科创
- 京东官宣：达达员工逐步升至20薪
  
  2025-04-02 13:35 观网财经-互联网
- 豫园股份2024年报透视：轻资产转型撬动市值潜力，文化出海锚定长期价值
  
  2025-04-02 13:10
- 阿里收购两氢一氧，无招回归钉钉
  
  2025-04-02 11:19 观网财经-互联网
- 乘“AI东风”，良信股份欲掘金智算中心配电蓝海
  
  2025-04-02 10:14 观网财经-科创
- 智能早报丨雷军回应SU7事故；宇树再发新产品；苹果遭11亿巨额罚单
  
  2025-04-02 08:41 产业万象
- 中国成2024年欧盟汽车进口最大来源国
  
  2025-04-02 08:19
- 日赚十亿的全球店王SKP或将易主
  
  2025-04-01 20:29 观网财经-消费
- 茶咖日报｜澜沧古茶今起停牌；钟睒睒为云南茶叶发声
  
  2025-04-01 20:02 观网财经-消费
搜索

   观察者头条查看全部

呵呵，“‘民主国家’看不上中国技术”？评论 221

普京访印：美国都在买，印度凭啥不能买？评论 79

日本开发稀土担心中国干扰？日防相放话评论 134

“美欧抢矿，遭殃的却是他们” 评论 16

美国又开炮欧盟：你们在“霸凌”美国军工！评论 73

   风闻 · 24小时最热查看全部

   最新视频查看全部
最新闻 Hot
快讯

与清华合作，支持22种中文方言的语音大模型来了！

增利不增收的青岛啤酒，连续六年出现季节性亏损

业绩狂飙的老铺黄金，股价却即将承压？

AI拐点到来，大厂集体抢人

个人电脑就能运行，更便宜的Agent要来了

完成”瘦身”后，美的置业保留业务营收、利润双双增长

腾讯会议“崩了”？官方回应

售价超7000元，Meta想用眼镜取代iPhone

京东工业，再度冲刺港股IPO

内地行业龙头排队融资，香港IPO募资额反超印度

时隔50个交易日，A股两市成交额再度跌破1万亿

全球VR市场三连跌，苹果Vision Pro单季出货暴跌43%

三星折叠机出货暴跌33%，中国品牌集体大增，苹果明年入局？

京东官宣：达达员工逐步升至20薪

豫园股份2024年报透视：轻资产转型撬动市值潜力，文化出海锚定长期价值

阿里收购两氢一氧，无招回归钉钉

乘“AI东风”，良信股份欲掘金智算中心配电蓝海

智能早报丨雷军回应SU7事故；宇树再发新产品；苹果遭11亿巨额罚单

中国成2024年欧盟汽车进口最大来源国

日赚十亿的全球店王SKP或将易主

茶咖日报｜澜沧古茶今起停牌；钟睒睒为云南茶叶发声

呵呵，“‘民主国家’看不上中国技术”？

普京访印：美国都在买，印度凭啥不能买？

“白宫‘慌乱应对’，想赢中国，支持得到位啊”

国安战略报告迟迟未出，“美财长要求软化对华措辞”

自民党“黑金”丑闻“吹哨人”再出手，这次是高市

“彻底反转了，中国是发达国家，我们才是新兴国家”

“华德858”轮触礁断裂

机密通话曝光！“美国恐将背叛，你要小心”

“云冈石窟大佛冻得流鼻涕”，官方：将暂时封闭、处置渗水

“高市早苗更加不安了”

高善文离职后，又有分析师集体出走国投证券

台军又出意外，这次是炮弹砸了民宅

“中产、富裕阶层也去1元店”，特朗普还嘴硬

日本开发稀土担心中国干扰？日防相放话

“按下葫芦浮起瓢”，英伟达想重返中国市场又难了…