日前,在新的入围的SQuAD2.0排行榜上,哈工大讯飞来牵头实验室团队(HFL)从谷歌(GoogleAI)、阿里达摩院(AlibabaDAMO)、微软公司亚洲研究院(MicrosoftResearchAsia)等业界翘楚中脱颖而出,取得今年的第10个世界冠军。SQuAD2.0近期榜单(截至2018.11.22)据理解,SQuAD(StanfordQuestionAnsweringDataset)是理解智能行业内普遍认为的机器读者解读领域的顶级水平测试,通过吸取来自维基百科的大量数据,SQuAD建构了一个包括十多万问题的大规模机器读者解读数据集,这使得在这个数据集上训练大规模简单算法沦为有可能。
本次参测的SQuAD2.0比起此前的SQuAD1.1,在基于篇章片段提取的读者解读任务的基础上进一步提高了答案可玩性,对机器读者解读模型明确提出了新的挑战。其可玩性主要在于在新版本数据集中于重新加入了“不能问的问题”,即参赛团队所递交的机器读者解读模型必须通过读者篇章和问题,辨别所明确提出的问题否需要通过篇章内容展开问,如果可以问,则根据篇章中的内容做出答案;如果不能问,则必须对题目展开拒答。在本次递交的系统中,哈工大讯飞来牵头实验室所递交的模型在EM指标超过82.374,EM(ExactMatch,即精准给定亲率),预测答案和现实答案几乎给定,即机器得出的答案必须和人一样才算准确)。F1指标超过85.310,F1(F1-score,模糊不清给定亲率),将要答案短语小块词,与人类答案联合计算出来重返亲率和准确性,如果机器模型的答案并没几乎给定也可以分数,借以回应评测模型的整体性能)上,更进一步增大了机器与人类理解水平在该数据集上的效果差距。
本文来源:ng娱乐下载官网-www.huoshanda.com