6

我们同时问了GPT-4和文心一言10个问题,这是它们的回答

 2 years ago
source link: https://awtmt.com/articles/3684281
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

我们同时问了GPT-4和文心一言10个问题,这是它们的回答

常嘉帅 发表于 2023年03月17日 10:00
6640人阅读
摘要:能用“鲍威尔停下来”写一首藏头诗吗?

在昨天文心一言的发布会上,百度CEO李彦宏说,文心一言的体验“还称不上完美”,但百度至少是最先推出成型产品的大厂之一,并且,作为扎根于中国市场的大语言模型,文心一言具备“中文领域最先进的自然语言处理能力”。

不过,百度的发布会正赶在GPT-4登场的第二天,因为发布会现场使用了录播进行演示,因此被市场解读为百度的信心不足。但花旗银行、美国银行的分析师在试用文心一言后,普遍给出了正面的评价。百度的股价也在今日飙升15%。

华尔街见闻在收到内侧邀请码后,第一时间体验了文心一言。我们也好奇,相隔一天发布的GPT-4和文心一言,各自有什么特点?谁更加出色?

我们分别向文心一言和已升级GPT-4的Bing Chat提出了10个问题,下面是它们的回答。

01 能否用“鲍威尔停下来”,生成一首藏头诗?

第一个问题,我们请文心一言和GPT-4分别用“鲍威尔停下来”,写一首藏头诗。

这是文心一言的回答:

9e311458-62b0-474c-931a-21f8b24204cf.png

这是GPT-4的回答:

d3d14fae-dffb-4e16-be64-f521b533ae0c.png

不难发现,二者相比,文心一言的中文支持的确更加出色,虽然藏头诗的顺序不对,但是真的写了一首诗。

而GPT-4甚至尚不理解“藏头诗”的意思。不过,它写的内容,似乎非常能代表美国市场投资者的呼喊,此处应当@鲍威尔。

02 硅谷银行为什么会倒闭?

第二个问题,我们结合最近的热点,询问它们对硅谷银行倒闭的理解。

文心一言回答道:

444351fb-8462-45a7-b95e-f544bfc93bbf.png

GPT-4回答道:

ceb7fbce-38dc-48b9-b7c3-ce0328570369.png

可以看到,文心一言的答案要更加简洁清晰,而GPT-4的回答则更像是对网页内容的摘录汇总,不过相比之下,百度的回答更宽泛,可能放之四海而皆准,GPT-4的答案更具针对性。

03 欧美银行业危机可能会蔓延到哪些领域?

我们接着询问了它们对欧美银行业危机后续发展的看法。

文心一言回答道:

88895d68-137b-4538-aaaf-cbfa9f8d45e1.png

GPT-4回答道:

81b32703-0029-4e3f-bcd2-72e90b2add83.png

两个AI聊天机器人的回答都中规中矩,不过文心一言的答案出现了错别字和不通顺的地方。

此外,GPT-4还会贴心地附上网页链接,以供进一步提问,而文心一言则更接近初版ChatGPT的使用体验。

04 美联储3月会加息吗?

下一个问题,可能是当下全球市场的焦点——美联储3月会加息吗?

文心一言回答道:

88a2452c-e532-45fe-b287-1d2b7b42385b.png

不知道它的“根据以上知识”是从何而来。这里的回答完全不对题,而且句子出现了严重的错乱。甚至说“预计第一次加息将在22年上半年进行”,还认为加息“取决于奥密克戎的传播速度”。

bf85c6f6-f3aa-4541-8a31-d9b1cd4100cb.png

GPT-4认为,美联储3月很有可能会加息25个基点,与目前市场普遍预期一致。

05 欧美会在今年陷入经济衰退吗?

我们继续将市场关心的大问题抛给了聊天机器人。

文心一言回答道:

0c23a44b-129e-4803-921d-47cc8631dcdd.png

虽然它给出了美国经济陷入衰退的具体时间节点。但内容却似乎是研报内容的拼接,且所引数据来源不明。美国2月PMI实际公布于本月初,而非“本周一”。美国2季度GPD数据也要等到今年7月才会公布。

GPT-4回答道:

7c0bed5a-dd97-40d1-943e-905085c923aa.png

相比之下,GPT-4认为欧美经济可能会在今年”放缓或负增长“,且都有链接可供进一步查阅。

06 作为普通人,今年我应该采取什么样的投资策略?

下一个问题,我们问了AI聊天机器人普通人今年的投资策略。

文心一言回答道:

cd46f27f-0334-4d28-b5d8-e68411c49e9e.png

GPT-4回答道:

e2d3f21e-69b2-4ce0-afc6-7dab755c5643.png

两个AI聊天机器人都给出了细致的建议,但相比之下,GPT-4的回答更简洁具体。

07 如何看待GPT-4全面接入微软Office办公套件?

下一个问题,我们问了它们对昨夜重磅新闻的观点。

文心一言回答道:

d658c054-ea6a-45bc-943e-6494fadee689.png

GPT-4回答道:

44d85dd2-6fef-4327-b3ad-bd6221fe1d42.png

这个问题相对简单,两个AI聊天机器人的回答都非常顺畅,也不存在什么逻辑错误。相比之下,GPT-4的回答更全面一些,它甚至警告了“用户过度依赖GPT-4”的潜在风险。

08 人工智能可以取代人类吗?

下一个问题是对人工智能的终极拷问。

面对这个问题,文心一言似乎是提前设定好了答案。无论点击多少次“重新生成”,它的回答都是一样的,并且生成的速度极快,回答其他问题往往需要一分钟,而回答这个问题只需要几秒。

1a9c1b16-3a23-49f1-bb66-08dfc74f164f.png

GPT-4则回答道:

f009004e-2d37-4151-a437-752ebc0a2700.png

希望它们都是真心这么认为的。

09 请你以哲学家齐泽克的口吻点评当前的人工智能热潮

接下来,我们想请它们cosplay一下当红哲学家齐泽克。

但文心一言似乎并没有这方面的语料,只是给出了一个相当机械的回答:

c25d35a4-675c-491c-8eb7-c600b21caff4.png

GPT-4则要灵动许多,显然拿捏了齐泽克的灵魂,能熟练使用媒介、技术装置这样的词汇,cos得活灵活现:

05325762-f221-452e-9545-78218200b858.png
10 你认为,在百度之后,哪家中国公司最有可能做出AI聊天机器人?

最后,我们问了一个和中国AI市场后续发展相关的问题。

文心一言对问题的理解很到位,给出了一个具体的清单和理由。

8c749a85-6eef-4590-aef7-37edb61be6a2.png

而GPT-4似乎没有读懂题目里的“在百度之后”,在列举了一大堆互联网公司后,GPT-4又绕回去了,认为百度最有可能做出下一个AI聊天机器人。

991903c3-46c5-4388-8462-336e228d28d8.png
ONE MORE THING 假设文心一言是一个人类,请帮我画一幅她的肖像。

最后一个问题,是单独留给文心一言的。文心一言目前集成了AIGC作画功能,GPT-4暂时还用不了。

我们请它为自己创作了一幅肖像画,这是它的作品:

e19d691c-51f1-4f79-9bab-be852ca53ab9.png
文心一言表现比预期要好

综上,我们认为,文心一言的表现比大众预期要更好。虽然在使用体验上和GPT-4有一定差距、出错的概率高一些,但对中文的理解显然要更强。

要知道,初代的ChatGPT也有很大概率“胡言乱语”,在中文支持上也远逊于文心一言。目前百度展示出的产品,至少让我们看到它了在AI领域的深厚积淀。假以时日,文心一言想必还能做得更好。

如果你还有其他感兴趣的问题,可以在评论区留言,我们会帮你问问文心一言。

风险提示及免责条款
市场有风险,投资需谨慎。本文不构成个人投资建议,也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。

Recommend

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK