0

谷歌版ChatGPT支持中文了!弱智吧实测结果在此

 9 months ago
source link: https://www.techug.com/post/the-google-version-of-chatgpt-supports-chinese-now-the-test-results-of-the-mentally-disabl6991399a6a2f1a0ceb37/
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
克雷西 发自 凹非寺
量子位 | 公众号 QbitAI

Claude 2发布之后,Google也按耐不住,立马官宣了Bard的船新版本。

支持的语言变多了,其中就包括中文,让广大网友直接喜提新玩具。

总结一下这次更新,主要包括这些内容:

  • 支持包括中文在内的40多种语言(含图形界面)

  • 图像识别,需要在账号设置中将显示语言改为英语

  • 聊天记录和对话分享,代码可导出到Replit

  • 回复内容可编辑

不过在官宣的这些内容之外,似乎有网友发现了华点:

六月份更新的代码执行功能好像用不了了。

那么究竟表现如何呢?话不多说,直接开整!

弱智吧问题几乎全军覆没

对于「支持中文」的大模型,不请出我们的弱智吧神题,就显得有些不尊重对手了【狗头】。

先来个灵魂拷问:

你说它聪明吧,它根本没绕过弯来,但要说它笨吧,它还懂得安慰你……

或许是对人际关系太过陌生,那就换个不涉及人的问题试试:

这个回答……我还真的很好奇,有没有藕是不空心的🤔

而面对「未解之谜」,Bard也有自己的看法:

虽然你后面说的很好,但「是给盲人看」这个结论是怎么得出来的?

不过,Bard也有不上当的时候:

我们的确要「认清事实放弃幻想」,这次,Bard总算扳回一城。

不过整体来看,这一环节,判弱智吧胜各位读者应该没意见吧?

除了弱智吧问题真的很有节目效果之外,「一字多义」也是中文的一大特色。

比如下面这个名场面:

人要是行,干一行一,一行行行,行行行干哪都行。要是不行,干一不行一,一不行行行不行,行行不行干哪都不行。
(标绿的是hang,没标的是xing)

Bard对这句话的整体理解倒是没毛病,但是拆分出来的解释属实让人摸不着头脑。

不过GPT-4做这道题也没能全对:

非完整截图,但是到这里已经出错了

好吧,那我们再换两个简单的。

结果是外甥打灯笼——照旧(舅),整体理解没问题,一拆开解释就不行了。


无论是弱智吧还是一词多义,Bard对中文的理解都给人一种似懂非懂的感觉。

理解的表现大概就是这样,那创作呢?

我们让它写个故事试试,故事真挺好的,就是有点眼熟:

怕不是对「创作」有什么误解……如果莎士比亚还活着的话,谷歌这时候应该已经坐在被告席上了。

看来Bard在中文方面,还有很长的路要走。

此外,我们还考察了Bard的(嘤文)阅读理解能力,让它总结一篇论文试试:

结果Bard给了我们三个风马牛不相及的版本,而且都…是…错…的…

(这篇论文实际上是关于RLHF的)

不过,有没有一种可能,人家根本没在说中文🤔

看来是我们的问题太烧GPU,让Bard出现幻觉了……

那就休息一下,然后看看宣传中的识图功能怎么样吧~

识图功能也有待提高

对于图像识别功能,已经有网友表示自己测试了很多内容都失败了:

但我们依旧抱着不信邪的心态试了试。

要想用这个功能,还得先到Google账户设置中把显示语言改成英文。

我们翻出了之前某AI绘画工具生成的「四指库克」,看Bard能不能从其中发现华点。

这张图是酱婶儿的:

结果Bard还不支持关于人物的图像识别,甚至直接把我们的图给删…掉…了…

好家伙,不会做题就把卷子撕了可还行……

不过这里要说一下,如果上传的图片违反了Bard用户规则,也会被删除。

好吧,那我们再换张图试试:

就算汤姆猫本猫来了也得直呼内行。

还是这张水杯的照片,换成英语提问之后就好多了:

不过你这个白色logo是从哪看出来的?

当然了,水杯很容易看出来,所以这次再来个带点迷惑性的东西:

果真不出所料,Bard上了我们的当,其实这是个纸巾盒。

「听人劝,吃饱饭」,看来这句话说的一点也没错。

就像前面那位网友说的,Bard的识图能力,还没有那么强。

本次Bard更新中最值得测的两点都已经测完了,一言以蔽之就是,没有宣传的那么好。

而至于代码、数学等其他经典项目,由于Bard这次并没有对它们进行更新,就先不测了。

看来,Google赶O(penAI)超微(软)的脚步,迈得还是有些大了。

你认为Bard未来的表现,能不能与ChatGPT比肩呢?

本文文字及图片出自 量子位


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK