趣文网,分享全网好句子、好文章!

第六届中文语法错误诊断大赛 哈工大讯飞联合实验室再获多项冠军

时间:2023-11-02 04:06:01

相关推荐

第六届中文语法错误诊断大赛 哈工大讯飞联合实验室再获多项冠军

近日,第六届中文语法错误诊断大赛(CGED)研讨会于AACL 2020大会“面向教育技术的自然语言处理(NLPTEA)”workshop中顺利举行。今年共有国内外14支队伍参赛,提交了44个系统。讯飞、阿里、上交、南大、有道、外研社、新华社等团队均有精彩表现。其中,哈工大讯飞联合实验室(下文简称HFL)团队获得综合排名第一的成绩,多项核心指标保持领先。

A.I.也能改作文,我们拿下多项冠军!

曾经,语文老师批改作文的场景还历历在目——从文章里找出赘余、少词、语序不当、语意不通的地方,然后一一改正。

最近,这场世界级比赛就把上述场景作为考点——第6届中文语法错误诊断大赛(CGED)。主办方会挑选外国人写作的中文句子作为考题,参赛团队需要利用A.I.算法技术对其中的语法语义错误进行识别,对部分类别错误进行修正,并进行系统性能评估。

可别小看了这场“语法批改大赛”,它所考验的能力十分综合。涉及到参赛队伍的语病识别能力(识别句子是否有错误)、语病分类能力(识别具体的错误类型)、语病定位能力(识别错误的位置和类型)、语病修正能力(对于缺失和用词不当,提供修正建议)等等。

最终,在语病识别、语病分类、语病定位、语病修正四类核心指标中,HFL在两项关键指标中获取冠军,另外获得一项第二和一项第三。这也是继上一届大赛(CGED 2018)夺冠后,持续保持技术领先的又一份成绩单。

CGED 2020 Identification-level指标情况

CGED 2020 Position-level指标情况

纵观最近几年的比赛成绩,中文语法检错技术不断进步,检错效果在不断提升。背后付出了哪些努力?

原来,随着深度学习相关技术的快速发展,越来越适合任务本身的模型被研究出来,并且随着预训练语言模型的发展,更多的外部知识被加入到模型中,使得模型的表征能力越来越强。HFL就是以深度学习技术与预训练语言模型为基础,结合集成学习相关技术,完成对语病的精准识别、定位与修正。

真题实战,看看这位A.I.冠军如何修炼

本次HFL参赛评测方案,主要分为检测和修正两部分。在检测任务中,我们提出了ResBERT检测模型,这种模型可以帮助我们更好地检测出语法的错误类型与位置信息等。

在修正任务中,我们针对缺失和用词不当错误分别采用如下两种方案进行修正:针对缺失错误,我们首先预测缺失位置、缺失字数,然后再使用语言模型生成候选修正结果,最后通过对多个候选修正结果的综合比较来确定最终修正结果。针对用词不当错误,我们综合考虑字音、字形相似度以及语言模型打分来选出最终的修正结果。

例如“请座的小朋友把手放在膝盖上”一句,我们根据检测模型,可以判断出“请座”中间缺少一个字,再根据修正方案确定在“请”与“座”中间需要加一个“在”字,即句子最终被修正为“请在座的小朋友把手放在膝盖上”。

当然,我们看到今年的比赛中语病修正的指标还很低,最高的F1值也未超过0.2,原因是什么呢?我们分析评测数据来看,数据以单句形式给出,比如“那个时候我尝尝去美术馆参观画。”语病修正的参考答案为:将“尝尝”改为“尝试”,而合理的修正方法其实有很多种,比如也可以改成“常常”等。仅通过单句的信息,无法确定唯一的修正结果,需要更多的上下文信息才能确定作者所要表达的真实意图。这给评测数据的构建也提出了不小的挑战。

因此,要想提升语病修正的效果并在实际产品中应用,对于篇章级文本的诊断分析是非常有必要的,这也给未来的评测和技术提出了更高的要求。

技术落地应用,我们让A.I.走得更远

在坚持核心技术研究不断创新进步的同时,我们也不断让A.I.赋能于应用,服务于生活的方方面面。

多种办公场景下,人们长时间从事文字工作难免出错。无论是撰写文档,还是在信息共享与储存场景中,当前流行的办公工具对中文文本校对未能提供很好支持,智能办公亟待升级。

HFL基于长期以来的技术积累,早在2019年12月1日,便正式发布了“飞鹰智能文本校对系统”

飞鹰校对涵盖文本校对的别字纠错、语法纠错、标点纠错及敏感词检测等不同校对模块,并且可针对不同领域的文本校对需求,为行业客户提供定制化的解决方案,现已支持通用领域、司法领域和教育领域文本校对服务。

飞鹰智能文本校对系统

此外,中文语法错误诊断技术还被应用于作文自动批改中,包括错别字修正、语法检错等功能,目前已在中小学作业、讯飞学习机等产品中应用落地,辅助减轻老师作文批改的工作负担,也可以帮助学生在自主学习中及时获得作文批改的反馈。

科大讯飞作文自动批改

未来,随着技术的不断进步,以中文语法错误诊断与修正技术为核心的文本校对将在编辑出版、公文撰写、作文批改以及广大自媒体文稿写作等场景中发挥越来越大的作用,应用前景广阔。

布局讯飞超脑,HFL让机器能理解会思考

哈工大讯飞联合实验室(HFL)是科大讯飞针对“讯飞超脑”项目计划,重点引进和布局的核心研发团队之一,成立于2014年,由哈尔滨工业大学社会计算与信息检索研究中心(HIT-SCIR)与科大讯飞AI研究院共同创办。

根据联合实验室建设规划,双方在语言认知计算领域进行长期、深入合作,具体开展阅读理解、自动阅卷、类人答题、人机对话、语音识别后处理、社会舆情计算等前瞻课题的研究,支撑科大讯飞实现从“能听会说”到“能理解会思考”的技术跨越,并围绕教育、司法、人机交互等领域实现科研成果的规模化应用与落地。

2017年至2019年,哈工大讯飞联合实验室在国际权威机器阅读理解评测SQuAD、SQuAD 2.0多次获得冠军。其中2019年3月,在SQuAD 2.0评测中全球首次超过人类平均水平并成为里程碑事件。2018年获得国际语义评测(SemEval 2018)阅读理解赛道冠军。2019年至2020年,在多步推理阅读理解评测HotpotQA双赛道均获得冠军。2020年,在国际权威通用自然语言理解评测GLUE中获得冠军。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。
显示评论内容(2)
  1. 我不想&说2024-01-20 13:39我不想&说[火星网友]103.29.16.203
    恭喜获奖!这是对中文语言处理领域的一次伟大胜利,希望这些创新的技术能够在未来为我们的生活和工作带来更多帮助。
    顶2踩0
  2. 重生三绝2023-12-11 20:52重生三绝[江西省网友]111.66.94.143
    这太棒了!中文语法错误诊断大赛一直是我非常感兴趣的领域,恭喜哈工大讯飞联合实验室再次获得多项冠军!
    顶0踩0
相关阅读
寄语冰城发展 共话合作愿望

寄语冰城发展 共话合作愿望

双方对接资源、洽谈合作、振兴发展,携手在深化龙粤合作、深哈合作的道路上阔步前行、展翅腾飞

2023-07-13

简报|法国著名汉学家汪德迈教授逝世 第17届语言智能教学国际会议举行……

简报|法国著名汉学家汪德迈教授逝世 第17届语言智能教学国际会议举行……

汪德迈Léon Vandermeersch,19282021,法国著名汉学家

2024-01-09

粤港澳企业家及国内外商协会人士寄语冰城发展 共话合作愿景

粤港澳企业家及国内外商协会人士寄语冰城发展 共话合作愿景

双方对接资源、洽谈合作、振兴发展,携手在深化龙粤合作、深哈合作的道路上阔步前行、展翅腾飞

2023-06-22

寄语冰城发展  共话合作愿望 |粤港澳企业家及国内外商协会人士畅谈哈尔滨

寄语冰城发展 共话合作愿望 |粤港澳企业家及国内外商协会人士畅谈哈尔滨

双方对接资源、洽谈合作、振兴发展,携手在深化龙粤合作、深哈合作的道路上阔步前行、展翅腾飞

2023-06-08