

我们同时问了GPT-4和文心一言10个问题,这是它们的回答
source link: https://awtmt.com/articles/3684281
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

我们同时问了GPT-4和文心一言10个问题,这是它们的回答
在昨天文心一言的发布会上,百度CEO李彦宏说,文心一言的体验“还称不上完美”,但百度至少是最先推出成型产品的大厂之一,并且,作为扎根于中国市场的大语言模型,文心一言具备“中文领域最先进的自然语言处理能力”。
不过,百度的发布会正赶在GPT-4登场的第二天,因为发布会现场使用了录播进行演示,因此被市场解读为百度的信心不足。但花旗银行、美国银行的分析师在试用文心一言后,普遍给出了正面的评价。百度的股价也在今日飙升15%。
华尔街见闻在收到内侧邀请码后,第一时间体验了文心一言。我们也好奇,相隔一天发布的GPT-4和文心一言,各自有什么特点?谁更加出色?
我们分别向文心一言和已升级GPT-4的Bing Chat提出了10个问题,下面是它们的回答。
第一个问题,我们请文心一言和GPT-4分别用“鲍威尔停下来”,写一首藏头诗。
这是文心一言的回答:

这是GPT-4的回答:

不难发现,二者相比,文心一言的中文支持的确更加出色,虽然藏头诗的顺序不对,但是真的写了一首诗。
而GPT-4甚至尚不理解“藏头诗”的意思。不过,它写的内容,似乎非常能代表美国市场投资者的呼喊,此处应当@鲍威尔。
第二个问题,我们结合最近的热点,询问它们对硅谷银行倒闭的理解。
文心一言回答道:

GPT-4回答道:

可以看到,文心一言的答案要更加简洁清晰,而GPT-4的回答则更像是对网页内容的摘录汇总,不过相比之下,百度的回答更宽泛,可能放之四海而皆准,GPT-4的答案更具针对性。
我们接着询问了它们对欧美银行业危机后续发展的看法。
文心一言回答道:

GPT-4回答道:

两个AI聊天机器人的回答都中规中矩,不过文心一言的答案出现了错别字和不通顺的地方。
此外,GPT-4还会贴心地附上网页链接,以供进一步提问,而文心一言则更接近初版ChatGPT的使用体验。
下一个问题,可能是当下全球市场的焦点——美联储3月会加息吗?
文心一言回答道:

不知道它的“根据以上知识”是从何而来。这里的回答完全不对题,而且句子出现了严重的错乱。甚至说“预计第一次加息将在22年上半年进行”,还认为加息“取决于奥密克戎的传播速度”。

GPT-4认为,美联储3月很有可能会加息25个基点,与目前市场普遍预期一致。
我们继续将市场关心的大问题抛给了聊天机器人。
文心一言回答道:

虽然它给出了美国经济陷入衰退的具体时间节点。但内容却似乎是研报内容的拼接,且所引数据来源不明。美国2月PMI实际公布于本月初,而非“本周一”。美国2季度GPD数据也要等到今年7月才会公布。
GPT-4回答道:

相比之下,GPT-4认为欧美经济可能会在今年”放缓或负增长“,且都有链接可供进一步查阅。
下一个问题,我们问了AI聊天机器人普通人今年的投资策略。
文心一言回答道:

GPT-4回答道:

两个AI聊天机器人都给出了细致的建议,但相比之下,GPT-4的回答更简洁具体。
下一个问题,我们问了它们对昨夜重磅新闻的观点。
文心一言回答道:

GPT-4回答道:

这个问题相对简单,两个AI聊天机器人的回答都非常顺畅,也不存在什么逻辑错误。相比之下,GPT-4的回答更全面一些,它甚至警告了“用户过度依赖GPT-4”的潜在风险。
下一个问题是对人工智能的终极拷问。
面对这个问题,文心一言似乎是提前设定好了答案。无论点击多少次“重新生成”,它的回答都是一样的,并且生成的速度极快,回答其他问题往往需要一分钟,而回答这个问题只需要几秒。

GPT-4则回答道:

希望它们都是真心这么认为的。
接下来,我们想请它们cosplay一下当红哲学家齐泽克。
但文心一言似乎并没有这方面的语料,只是给出了一个相当机械的回答:

GPT-4则要灵动许多,显然拿捏了齐泽克的灵魂,能熟练使用媒介、技术装置这样的词汇,cos得活灵活现:

最后,我们问了一个和中国AI市场后续发展相关的问题。
文心一言对问题的理解很到位,给出了一个具体的清单和理由。

而GPT-4似乎没有读懂题目里的“在百度之后”,在列举了一大堆互联网公司后,GPT-4又绕回去了,认为百度最有可能做出下一个AI聊天机器人。

最后一个问题,是单独留给文心一言的。文心一言目前集成了AIGC作画功能,GPT-4暂时还用不了。
我们请它为自己创作了一幅肖像画,这是它的作品:

综上,我们认为,文心一言的表现比大众预期要更好。虽然在使用体验上和GPT-4有一定差距、出错的概率高一些,但对中文的理解显然要更强。
要知道,初代的ChatGPT也有很大概率“胡言乱语”,在中文支持上也远逊于文心一言。目前百度展示出的产品,至少让我们看到它了在AI领域的深厚积淀。假以时日,文心一言想必还能做得更好。
如果你还有其他感兴趣的问题,可以在评论区留言,我们会帮你问问文心一言。
Recommend
-
11
百度类ChatGPT产品官宣确认:文心一言 3月完成内测开放
-
13
2023-02-07 02:07 百度ChatGPT项目名字确定为文心一言 2 月 7 日,36 氪获悉,经百度确认,百度 ChatGPT 项目名字确定为“文心一言”,英文名 ERNIE Bot,预计三月份完成内测,面向公众开放,目前正在做上线前的冲刺。联系去年 9 月...
-
15
2023-02-07 06:47 百度官宣大模型新项目:文心一言 金十数据 2 月 7 日讯,百度在微信公众号官宣大模型新项目文心一言(英文名 ERNIE Bot)。百度在人工智能四层架构中,有全栈布局。包括底层的芯片、深度学习框架、大模型以及最上...
-
9
文心一言:百度开发的中国版ChatGPT 随着ChatGPT引起全球热门趋势,各大公司竞相推出了自己的Chatbot,OpenAI与2022年11月31日发布了ChatGPT,随后Google于2023年1月31日发布的消息“Apprentice Bard”已开始测试阶段。中国“Baidu.com,I...
-
10
百度回应将推类ChatGPT应用文心一言:敬请期待 ...
-
6
综合报道1min read百度将推「文心一言」,打响国内「ChatGPT」第一枪2023/02/08
-
9
我们内测了文心一言,结果令人意想不到 硅兔赛跑 2023-03-17 1 评论...
-
7
究竟是ChatGPT还是ChatPPT?我们和文心一言聊了聊 于惠如 发表于 2023年03月17日 11:32
-
5
3月16日,百度于北京总部召开新闻发布会,正式官宣了新一代大语言模型、生成式AI产品【文心一言】。同时开启个人用户体验和企业API接口调用的申请入口,截止今日,排队申请文心一言企业版API调用测试的企业用户已达9万+。
-
4
文心一言满月了,一个月前的问题它学会了吗? 自百度宣布正式发布语言大模型文心一言以来,国内各方面对其的关注度居高不下,但也引发了网友的一些质疑,以及同行对其先进...
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK