22

假如让AI来批改英语作文……

 4 years ago
source link: http://www.tmtpost.com/4302089.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

BbqqMrm.jpg!web

图片来源@视觉中国

在英语学习“听说读写”四个环节中,中国学习者往往擅长“听”和“读”, “说”和“写”却是典型的薄弱环节。

对于提升“说”的能力,我们有很多选择,无论是口语学习的APP,还是真人授课服务,供给端竞争非常激烈。

但对于写作的环节,我们却很少有机会得到训练。书面交流不仅更要比口语更遵守语法规则,还对一个人的词句篇章、构思逻辑等有更高的要求。同时,写作环节的反馈,会耗费更多的精力和时间。

为了解决英语学习者在写作上的难点和痛点,近期,网易有道词典上线了以人工智能驱动的批改英文作文的功能——AI作文批改。据说,这位“AI老师”的专业程度,堪比四六级和高考阅卷老师。

有道 AI 作文批改功能体验

打开网易有道词典APP,“作文批改”功能已经在首页显示,一目了然。点击之后,我们可以选择可以批改的类型,范围从K12到大学四六级,以及托福雅思等出国考试,非常全面。

qa63QzY.jpg!web

有道AI作文批改上,有拍照批改模式和手动输入模式两种。鉴于目前大多数考试写作的场景是基于手写,我们选择了主打手写识别的拍照模式。

为了更沉浸式地感受AI老师,首先,我假装自己是一名高三学生,写(抄)了一篇150词左右词汇的英文作文。作文的大意是,李明向好友詹姆斯(James)写了一封信,解释为什么不能陪他在暑期休假以及相关事情。

FV3yaau.jpg!web

AI系统将图片识别之后,首先会提示你,点击屏幕可以编辑作文,还会告知你提交前可以再检查一遍。此处估计是担心人工智能对于手写体识别可能会出现的失误。

这一提醒环节设置十分必要。钛媒体在体验过程中发现,即便是识别的准确率非常高,但也会有个别单词,因为字迹潦草而出现失误。

确认提交之后,有道AI作文批改给这篇小作文打了17分(总分25分),并且,细化到词汇、结构、语法和内容方面均有评级。

zY7nyyY.jpg!web

更为重要的是,在点击每一处标红的地方,有道AI老师都详细地指出了错误及其原因,还给出建议修正的意见。

为了让作者的写作水平更进一步,有道AI老师对这篇作文给出了如下严厉不失细致的评语;

“文章字数疑似超出该考试字数要求;在高中级别下,有一定词汇积累,能使用少量高级词汇,但还需更多积累;文章语句生硬,需加强上下文联系;单词拼写基本正确,词汇基础扎实;存在较多语法错误。”

总的来说,有道的AI作文批改功能,针对不同学段和不同类别的考试水平进行相对专业的打分,并从词、句、篇章进行点评和推荐,生成详细的报告。在语法纠正方面,也给出了清晰的解析,直击中国考试的痛点,非常适合备考的学员在日常的练习。

有道 AI 作文批改 VS 微软爱写作

除了有道之外,目前市面上由人工智能驱动的英文改写的产品,还有巨头微软旗下的微软爱写作(微软小英),和估值已经超过10亿美元的英文在线写作工具“Grammarly”。

不过,很遗憾的是,目前Grammarly 没有上线拍照识别手写的功能,因而,为了相对客观的对比,我们先体验了微软爱写作的产品。

钛媒体发现,微软爱写作目前主要是网页版,还没有上线中国区的App Store的相关APP。不过,它已经嵌入了“微软小英”的公众号内。该公众号是微软亚洲研究院打造的一款免费的英语学习公众号,主打AI与英语学习相结合的体验。

在公众号内,选择“抢先体验”—“发现工具”—“作文打分”,入口相对隐蔽。并且,公众号在提示用户,更推荐大家使用web端,没有切合当前移动互联网的大趋势。

iumaiun.jpg!web

同样还是上述手抄作文,微软爱写作识别了之后,给出了23分(不过总分是多少不清楚),以及从词汇句式、文章流畅性、文章内容和拼写语法四个角度给出了评价。

微软的系统对这篇作文评价还不错。与有道AI老师比起来,微软小英AI老师要温和得多了,立马让人捡起来了刚被击退的英文写作的信心。

不过仔细一想,这更像是基于模板的“统一回复”,因为微软爱写作并没有指出具体的语法和句法的错误,也没有给出今后如何提高的针对性意见。

有道 AI 作文批改 VS Grammarly

体验完微软爱写作,再看看改写工具Grammarly,毕竟这是一款日活已经超过2000万用户的产品。虽然它不能手写识别,但我们可以从挑选单句,进行语法错误纠正方面的对比。

例句1: Like students sing English song. mIrqy2y.jpg!web

有道词典

有道词典:疑似动词时态错误,建议将“sing”修正为“singing”;疑似名词单复数错误,建议将“song”修正为“songs”.

Fnim2qY.jpg!web

Grammarly

Grammarly(免费版):名词单复数错误,建议将“song”改为“songs”.

例句2:When the girl will leave, she fount an old begger in the tree and looked at angry and cold. uIVJvqr.jpg!web

有道词典

有道词典:疑似用词不当,建议将“will leave”修正为“left”;疑似动词时态错误,建议将“fount”修正为“found”;疑似名词误用,建议将“begger”修正为“beggar”等.

rMj26zv.jpg!web

Grammarly

Grammarly(免费版):建议将“begger”更改为“beggar”.

对比小结:我们发现,有道词典更能识别出较复杂的语法错误,如时态错误(过去式居多),动词原形与动名词误用。Grammarly偏向简单的语法修改,如介词误用,名词单复数错误等。

例句 3: Nest Tuesday, our class is going to a music camp. YrQnU3n.jpg!web

有道词典

有道词典:疑似拼写错误,建议将“Nest”修正为“Next”. bq2MZbE.jpg!web

Grammarly

Grammarly(免费版):无错误。

对比小结:有道词典更能识别不符合原文语境的单词误用。

总结:

经过对比体验,我们发现,三款产品各有优劣。不过, 综合来看,有道AI作文批改,用起来更熟悉且顺手——因为看上去它更理解中国学生的学习习惯、痛点与难点。

有道AI老师是如何做到的?这背后的核心逻辑又是什么?

从网易有道词典那里,钛媒体了解到,网易有道词典AI作文批改功能主要由三个核心模块构成:评分模块、评语模块和纠错模块。

EZ7BRrf.jpg!web

有道AI作文批改评分模块框架

其中,评分的模型框架结合了传统的方法和深度学习的方法,以词、句、篇章作为核心的评分维度;评语模块提供全文评语、词汇推荐、范文推荐;纠错模块提供14个类别的语法错误识别及修正,包括浅层的拼写错误、深层的语法错误等。

同时,我们得到了一份测试报告显示,与国际上较为知名的两个引擎相比,在作文批改引擎方向,网易有道词典的算法性能更好。

ZFf6Jba.jpg!web

评测时间 2020-03-31; P值-Precision 精确率, R值-Recall 召回率, F0.5-P值与R值的调和平均,其值越高,通常表示算法性能越好。

以上表格的测试集来源于用户日志,具体来自三个方向,一是他们海外词典批改服务的用户请求日志,二是考研用户的请求日志,三是来自有道智云的行业数据集。有道团队将这三个数据集中各抽出一部分来做测试集,抽选规则随机。

经过如上体验和对比,尤其是从一些细节方面, 可以看出来,有道AI作文批改的研发团队,是在了解了中国学生的难点和痛点之后,再进行了针对性和差异化的开发。

这在当前优质老师资源分布不均,且十分有限的情况下,有道AI作文批改老师的出现,无疑为大多数英语学习者,提供了一位免费的专属私人教师。

更为重要的是,与真人老师比起来,有道AI作文批改老师在识别后,可以随时随地,在第一时间给出作业反馈,以及后续学习、提高的建议,更细致且高效,这不仅可以帮助学生在备考之际给出“临门一脚”的指导,还能在日常反复训练中起到重要的作用。(本文首发钛媒体App,作者|李程程)


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK