-
胡韧奋等|让AI一口气读完《四库全书》会怎样?
最后更新: 2019-09-05 08:12:12【文|胡韧奋、李绅、诸雨辰】
近年来, 人工智能技术与人文历史研究碰撞出不少火花,上个月MIT与谷歌大脑团队的研究者们发布了一项最新研究,利用AI技术破解了失传的古文字,这也使我们不禁好奇,AI对于古代汉语的理解能力怎么样?近日,北京师范大学的研究团队尝试让机器从头学习文言知识,并开始像古人一样练习句读。
每当问起语文老师,如何提升文言文阅读能力?
一定会被告知:阅读能力的提升,不是一朝一夕……
如果我们让最擅长记忆和积累的计算机来阅读古文,它是不是可以做得很棒?
日前,北师大中文信息处理与古典文献学专业的研究者们尝试训练一个“饱读诗书”的语言模型,并让TA来参与古籍整理的工作。模型学习的对象包括《四库全书》与殆知阁语料库(规模约33亿字),而学习的方法则来自语言智能领域最新的深层语言模型。
2018年,谷歌公司推出了深层语言模型BERT,在阅读理解等11项语言理解任务中刷新记录,随后,CMU、百度、OpenAI、Facebook等机构也在其基础上推出了改进版本。和之前的方法相比,深层语言模型究竟有什么优势呢?一是可以吞吐超大量的数据,二是有很强的记忆和理解能力。
现有的深层语言模型覆盖了英文和中文,但却不具备理解古汉语的能力。于是,研究者们希望通过上述海量的古汉语数据来让机器“感受”一下博大精深的诗书礼乐文化。在多块计算卡上并行训练了约一周时间后,古汉语BERT初出江湖,TA可以像人一样联系上下文理解字词含义,并将其以数学向量表示。为了检测其理解效果,研究者们引入了句读任务。
在古典文史学习过程中,句读通常是必备的基本功。古文句读不仅需要考虑当前文本的语义和语境信息,还需要综合历史文化常识,对古汉语知识有较高要求。宋代大儒朱熹读韩愈文章,便有“然不知此句当如何读”之惑,近代经学大师黄侃在致陆宗达的信中也表示“侃所点书,句读颇有误处,望随时改正。”
在句读的过程中,有三项重要的技能点:
· 利用古汉语特有的节奏和韵律感;
· 联系上下文语境信息推敲求解;
· 调用文本之外的历史文化知识。
试看对应的三例:
1.梅花发寒梢挂著瑶台月瑶台月和羹心事履霜时节野桥流水声呜咽行人立马空愁绝空愁绝为谁凝伫为谁攀折 (朱熹《忆秦娥》)
2.李十一郎行修初娶江西廉史王仲舒女贞懿贤淑行修敬之如宾王女有幼妹尝挈以自随行修亦深所鞠爱 (冯梦龙《情史类略》)
3.此即昔人所谓东坡诗如大家妇女大踏步走出山谷便不免花面丫头屏角窥人扭捏作态之意 (柳亚子《磨剑室杂拉话》)
第1例为宋词,其开头很容易误断成“梅花发寒梢,挂著瑶台月”,而事实上“发”和“月”古音押韵,“瑶台月”与“空愁绝”则利用重复表示咏叹效果,故应断为:
梅花发 〇 寒梢挂著瑶台月 〇 瑶台月 〇 和羹心事 〇 履霜时节 〇 野桥流水声呜咽 〇 行人立马空愁绝 〇 空愁绝 〇 为谁凝伫 〇 为谁攀折
对于第2例来说,“王仲舒女贞懿贤淑行修”处很容易断错,原因是未理解“行修”是人名,或把“贞懿”误当人名。其句读重点为联系前文理解“行修”为夫君,其所娶妻子“贞懿贤淑”,“行修”对其十分尊敬,故应断为:
李十一郎行修 〇 初娶江西廉史王仲舒女 〇 贞懿贤淑 〇 行修敬之如宾 〇 王女有幼妹 〇 尝挈以自随 〇 行修亦深所鞠爱
第3例出自清华大学解志熙老师文章《断句背后的知与识——以三则诗文评为例》,该例曾用于清华大学研究生入学考试,《柳亚子文集·磨剑室文录》与参加考试的大部分学子均将其误断成:
此即昔人所谓东坡诗如大家妇女,大踏步走出山谷,便不免花面丫头,屏角窥人,扭捏作态之意。
此处句读关键在于“山谷”指黄庭坚(文本之外的知识),柳亚子意在比较苏东坡和黄庭坚两人的诗风,故应断作:
此即昔人所谓东坡诗如大家妇女,大踏步走出,山谷便不免花面丫头,屏角窥人,扭捏作态之意。
虽然现在很多古代经典都有了标点本,但其中常常包含错误,上述《柳亚子文集》即是一例。并且,在现有的古籍数据中,大部分文献仍未实现句读。据统计,殆知阁古代文献藏书2.0版语料库规模约33亿字,其中仅25%左右数据包含标点。
如果依靠人工继续整理这些古籍,则不知何年何月才能整理到头。如果依靠计算机,现有的技术方法却普遍只能达到60-70%的准确率,还很难为人所用。
深层语言模型在各种语言理解任务中都取得了大放异彩的效果,能不能GET上述三项技能,帮助我们解决句读难题呢?
- 原标题:让AI一口气读完《四库全书》会怎样? 本文仅代表作者个人观点。
- 责任编辑: 吴立群 
-
超176亿,暑期档票房创历史纪录
2019-09-02 07:32 中国电影 -
“港独”头目黄之锋被捕
2019-08-30 09:01 香港 -
中方:对原产美国约750亿美元商品加征关税
2019-08-23 20:07 中美关系 -
一名华裔移民的一生:从美国英雄到种族政策牺牲品
2019-08-23 09:21 -
马丁大爷:现在我可以按照自己的节奏来写结局了
2019-08-22 11:12 -
美国小学生在中国三线城市上暑期班,爸爸看出中美教育差距
2019-08-21 13:01 -
美国“阿拉伯之春”里用过的手段,在今天的香港比比皆是
2019-08-16 18:17 这就是中国 -
上海书展来了 这可能是世界上最好的书展
2019-08-14 13:32 -
中联办:超出文明社会底线,与恐怖分子暴行无异
2019-08-14 12:41 香港 -
香港机场再次发生非法集会 旅客怒斥示威者是“蟑螂”
2019-08-13 16:56 香港 -
为推广“普世价值”把别国弄得民不聊生,竟然可以连一声道歉也没有?
2019-08-12 17:25 这就是中国 -
破34亿 !《哪吒》跻身前五
2019-08-11 16:21 中国电影 -
如何用最浪漫的话向TA介绍观网?
2019-08-07 10:51 节日谈 -
人民日报:香港乱下去,全社会都要“埋单”
2019-08-06 09:26 -
专访手工耿:我的作品不是“没用”,而是真的简单粗暴
2019-08-05 19:45 中国梦 -
西方100年霸权体系,能和2000年亚洲文明相比吗?
2019-08-05 07:35 -
一个俄罗斯人对我说:现在是国家最好的时候,因为稳定
2019-08-03 20:20 这就是中国 -
离开斗鱼,《王者荣耀》知名主播张大仙确认入驻虎牙直播
2019-08-02 09:34 -
广电总局:拟8月起不播娱乐性较强的古装剧偶像剧
2019-08-01 07:35 中国电视剧 -
我希望收看这个节目的中国年轻人,要时刻准备着!
2019-07-29 20:11 这就是中国
相关推荐 -
习近平主持召开新时代推动西部大开发座谈会 评论 22种地要先交钱?官方再通报:镇党委副书记被免 评论 291驻美大使谢锋:中国不是雅典,也不是斯巴达 评论 145王毅会见柬埔寨首相洪玛奈:中国永远是最坚定的依靠 评论 40最新闻 Hot