-
科大讯飞力压微软获机器阅读理解SQuAD测试第一
关键字:对于人类来说,通过阅读理解获取知识,通过对海量数据的分析了解世界是最平常不过的事情。但对于一个智能系统来说,要实现这个功能却非常困难。攻克这个困难,让阅读理解成为智能系统的标配也成为了各家科技公司研究开发的焦点之一。
据澎湃新闻8月2日报道,近日,科大讯飞与哈工大联合实验室(HFL)提交的系统模型,在斯坦福大学发起的SQuAD(Stanford Question Answering Dataset)挑战赛当中取得了第一名的成绩。这也是中国本土研究机构首次取得该赛事的榜首。
SQuAD挑战赛最新成绩榜单:
网友发现,这个榜单上还有好多熟悉的名字:
上月的成绩单,榜首还是微软:
科大讯飞AI研究院副院长、哈工大讯飞联合实验室副主任王士进告诉澎湃新闻:“对机器来说,记忆海量知识并进行浅层推理,是一个相对较容易的工作,之前很多相关的工作证明了机器不比人类差,但精准的理解并实现推理,是一个相对更难的任务,为此目前全球最优秀的AI团队都在进行类似的研究。”
据王士进介绍,2015年5月,哈工大讯飞联合实验室开始启动研究机器阅读理解技术,是国内较早启动该项研究的团队。随后该团队又启动了内部项目 “六龄童阅读理解”,期待机器在认知智能上达到六岁儿童的智力,希望通过颠覆式的技术创新,做到机器看文章能够做出理解、推理和求解。
从众多外国研究机构手中拿下第一名
据楚北网报道,SQuAD挑战赛是行业内公认的机器阅读理解标准水平测试,也是该领域的顶级赛事,被誉为机器阅读理解界的ImageNet(图像识别领域的顶级赛事)。
参赛者来自全球学术界和产业界的研究团队,包括微软亚洲研究院、艾伦研究院、IBM、Salesforce、Facebook、谷歌以及卡内基·梅隆大学、斯坦福大学等知名企业研究机构和高校,赛事对自然语言理解的进步有重要的推动作用。
在科大讯飞今年获得第一名之前,微软亚洲研究院的自然语言计算研究组持续稳居榜首。
SQuAD挑战赛主页
SQuAD挑战赛通过众包的方式构建了一个大规模的机器阅读理解数据集(包含10万个问题),将一篇几百词左右的短文给人工标注者阅读,让标注人员提出最多5个基于文章内容的问题并提供正确答案,短文原文则来源于500多篇维基百科文章。参赛者提交的系统模型在阅读完数据集中的一篇短文之后,回答若干个基于文章内容的问题,然后与人工标注的答案进行比对,得出精确匹配(Exact Match)和模糊匹配(F1-score)的结果。
SQuAD向参赛者提供训练集用于模型训练,以及一个规模较小的数据集作为开发集,用于模型的调优和选型。与此同时,SQuAD还提供了一个开放平台供参赛者提交自己的算法,由SQuAD官方利用隐藏的测试集对参赛系统进行评分,并在SQuAD官方确认后将相关结果更新到官网上。
得益于SQuAD提供的大规模高质量的训练数据以及层出不穷的模型,该挑战赛的榜单一次又一次的刷新。目前,根据SQuAD此次公布的结果,科大讯飞与哈工大联合实验室提交的系统模型取得了精确匹配77.845%和模糊匹配85.297%的成绩,位列世界第一。
- 原标题:科大讯飞力压微软获机器阅读理解SQuAD测试第一: 相当于6岁儿童
- 请支持独立网站,转发请注明本文链接:
- 责任编辑:王佳璐
-
布林肯来华谈的怎么样?是否不虚此行? 评论 25“看看,这就是美国的警察” 评论 346习近平会见布林肯:中美应彼此成就,而不是互相伤害 评论 62“宁愿关闭在美业务也不卖” 评论 392王毅见布林肯,对美方提出三个“不要” 评论 262最新闻 Hot