2

OpenAI为节约成本偷工减料?史上最强大模型GPT-4“变笨”引发全网讨论,输出质量被质疑...

 11 months ago
source link: https://finance.sina.com.cn/jjxw/2023-06-03/doc-imyvyqqn4857954.shtml
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

OpenAI为节约成本偷工减料?史上最强大模型GPT-4“变笨”引发全网讨论,输出质量被质疑明显下降|推特_新浪财经_新浪网

广告


安装新浪财经客户端第一时间接收最全面的市场资讯→【下载地址



  来源:每日经济新闻

  记者/蔡鼎   

  编辑/谭玉涵    

  如今距离OpenAI于3月中旬推出其最新版本的大型语言模型GPT-4已经有近3个月的时间。这段时间内,尽管全球资本市场对人工智能、大模型和算力的炒作此起彼伏,也有人称赞GPT-4这个版本强大的能力,但却很少有人质疑GPT-4是否真的比此前更早期的版本强大。

  近期,网上对GPT-4是否出现退化的质疑声开始涌现出来,越来越多的网友开始表示,GPT-4对复杂程度相似的问题处理结果甚至还不如它的前身GPT-3或GPT-3.5。面对网友的大量质疑,OpenAI官方开发者推广大使回应称,GPT-4处于静止状态,且自3月 14日发布以来没有做过改动。

  可能突破万亿参数的GPT-4,被OpenAI“狂吹”

  根据OpenAI自己的说法,GPT-3拥有1750亿个参数,但GPT-4的规模可能会达到数千亿个参数,甚至可能会突破万亿级别。这一规模的提升将有助于提高模型的表现力和泛化能力,使其更能适应各种语言任务,同时也意味着GPT-4接受了更多的数据训练,模型文件中有更多的权重(参数),这也使得它的运行成本更高。

  此外,GPT-4可以更准确地解决人们的难题,多模态的GPT-4还可以生成、编辑具有创意性或技术性的文章,在高级推理方面的表现超过其前身。当然,正如大家所猜测的那样,微软(335.4, 2.82, 0.85%)New Bing的聊天功能确实基于GPT-4。OpenAI称,该模型“比以往任何时候都更具创造性和协作性”,“可以更准确地解决难题”。它可以解析文本和图像输入,尽管它只能通过文本进行响应。

  官方表示,GPT-4错误答案更少,而且也会减少偏离话题的可能,也尽可能不会再谈论禁忌话题,甚至在许多标准化测试中比人类表现得都要更好一些。

  例如,GPT-4在模拟律师考试的成绩在考生中排名前10%左右,在SAT阅读考试中排名前7%左右,在SAT数学考试中排名前11%左右。相比之下,GPT-3.5在律师考试中的得分一般都是倒数10%左右。当然,它们考个研究生还是没问题的。

图片来源:OpenAI
图片来源:OpenAI

  不少业内人士也对GPT-4的未来应用前景表示看好,称GPT-4的出现将进一步推动AI语言模型领域的发展。作为下一代AI语言模型,GPT-4将会在各方面都得到进一步的改善,包括语言理解、生成、多语种支持等等。同时,GPT-4也将会在各个应用场景中得到广泛应用,为各个行业带来更加高效和智能的解决方案。

  有网友4月份就对GPT-4是否退化发出质疑

  那么,GTP-4真的如OpenAI自己所称的那样更强大吗?

  就在美东时间本周早些时候,Ycombinator上已有网友提出质疑,称“(GPT-4)确实比以前快很多,但它的输出质量更像是GPT-3.5++。GPT-4产生了更多的bug代码,答案也缺乏深度和分析,总体感觉上比以前要糟糕很多。”

图片来源:Ycombinator
图片来源:Ycombinator

  在上述网友的帖子下方,另一名网友回复称,“是的。在更新之前,GPT(的上一个版本)能毫不费力地解决相当复杂的编程问题,并对非编程问题给出非常微妙且像是经过深思熟虑的答案。如今,GPT-4只能修改一个10行CSS模块中的两行,并再次给出这修改后的10行模块,不仅感到非常吃力,而且给出的答案中有些内容毫无关系……”

  还有网友表示,“OpenAI的(最新)模型给我的感觉是100%被削弱了。几个月前我用它(的早期版本)解决了非常复杂的问题(例如编写一个最小的PDF解析器示例),但今天你会因为问了这么复杂的任务被GPT-4‘责备’。”这名网友最后还称,他已经决定取消订阅他的OpenAI会员资格。

图片来源:Ycombinator
图片来源:Ycombinator

  在推特上,有网友称把GPT-4的3小时25条对话额度一口气用完了,都没能解决自己的代码问题,最后无奈切换回了GPT-3.5。

图片来源:推特
图片来源:推特

  《每日经济新闻》记者还注意到,网上关于GPT-4是否退化的讨论,其实在1个月前就已经有了。当时有网友在美国版天涯+贴吧平台Reddit上,对GPT-4是否“变笨”发出质疑。这名当时网友称,“在过去几天里,我经历了GPT-4性能的明显下降。它的推理能力已经退化到GPT-3的水平,而且它正在努力完成上个月刚刚为我完成的任务。今晚的性能还是最糟糕的。这是怎么回事?”

图片来源:Reddit
图片来源:Reddit

  在OpenAI的官方开发者论坛,有网友在4月30日就发帖称,“一周前,我用GPT4为MS飞行模拟器创建了一个非常简单的C#应用程序。这太神奇了,我只(手动)更正了一次。今天我用了同样的提示词,但经过多次修改后GPT-4还是不能正常使用。”

图片来源:OpenAI
图片来源:OpenAI

  一时间,关于“GPT-4退化了”、“OpenAI为了节省成本开始偷工减料”等质疑声开始在Ycombinator、Reddit和推特等平台快速蔓延开来。速度如此之快,就连OpenAI官方的开发者推广大使Logan Kilpatrick都出面来公开回应网友的质疑:“API不会在没有我们通知您的情况下更改。”

图片来源:推特
图片来源:推特

  在上述推文下方,Logan还回复了网友一些问题,他称,GPT-4自从3月14日发布以来未发生改动。他还表示,GPT-4对于一些提示词给出的回答内容不一致,是由于大模型本身不稳定。不过,针对网页版GPT-4是否被降级过的追问,均未得到其本人的正面回答。

图片来源:推特
图片来源:推特

  另据监管机构NewsGuard的专家分析,OpenAI最新版本的GPT-4大型语言模型在输出信息方面,确实比它的前身GPT-3.5还要糟糕。在今年3月份发布的报告中,NewsGuard就指出,GPT-4不仅在其研究人员的提示下回答了完全虚假的新闻叙述,而且甚至比GPT-3.5回答的内容更差。

广告

责任编辑:郑卓


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK