2

他做了一个「ChatGPT 杀手」,a16z 抢着投

 1 year ago
source link: https://www.8btc.com/article/6799314
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
2023-01-18 06:22

他做了一个「ChatGPT 杀手」,a16z 抢着投

作者 | 美漪
编辑 | 靖宇

Fih0j_ukKnI-fo_Ap_xa3r7_vTGR.png

图片来源:由无界版图AI工具生成

最近两个月,科技圈最热的话题,无疑是 OpenAI 推出的对话式 AI 应用 ChatGPT,不仅可以让它给你写一首诗、回答你的任何问题,甚至可以让它帮忙写没那么复杂的代码。业内甚至认为,ChatGPT 甚至有取代谷歌的潜力。

为 ChatGPT 欢呼的还有另一群人,就是「社畜」和学生——他们发现月度总结、学校论文和作业这样的任务,也可以让 ChatGPT 代劳了,后者甚至写得有模有样,不比真人写得差多少。

ChatGPT 似乎让学生们的日子更轻松了,但却让教师更「头疼」了,因为后者很难确认,眼前这些文字,到底是学生写的,还是出自 OpenAI 的产品之手。为此,纽约教育部甚至禁止公立学校使用 ChatGPT。

在这样的混乱中,一位普林斯顿大学的学生,Edward Tian 推出了一个专杀 ChatGPT 的应用——「GPTZero」,有了这面「照妖镜」,内容是人写的,还是机器写的,真相马上就揭晓。

「GPTZero」在网络迅速爆红,吸引了 a16z 在内的硅谷创投的目光。但是应用创造者本人 Tian 却认为,最重要的事,是「让 AI 更加透明」。

01「ChatGPT 杀手」

在 ChatGPT 成为学生们「偷懒」的神器后,教育和科研机构不得不开始抵制这个新的噩梦。

纽约教育部宣布禁止学生在公立学校使用 ChatGPT ;全球知名机器学习会议之一的 ICML 也宣布禁止发表包含由 ChatGPT 和其他类似系统生成内容的论文,以免出现「意外后果」。

出于对学术界,使用 ChatGPT 相关道德问题的担忧,华人小哥 Edward Tian 在一家当地的咖啡店里,花了一个寒假的时间,研发了 GPTZero,希望能让学术界恢复严谨性。

Tian 年仅 22 岁,目前仍是美国普林斯顿大学的大四学生,主修计算机科学专业,专门研究自然语言处理,同时辅修认知科学和新闻学。

FqcMOuVhxV5gVAg-3DiAgt8NS6Nd

GPTZero 的开发者 Edward Tian|网络

他还曾是英国广播公司和开源情报网站 Bellingcat 的研究员,也曾是被微软收购的反恐初创公司 Miburo Solutions 的分析师。在那里,他监测虚假信息和机器人检测。Tian 说,「所有的这些经历,都是他研发 GPTZero 的动力」。

2023 年 1 月 2 日,Tian 将 GPTZero 发布到网络,预计只会有几十个人尝试它,完全没有想过,这会掀起一场世界级别的轩然大波。

在他把这款软件上传到互联网上的几个小时内,竟有超过 2000 人在 Steamlit 上测试了 GPTZero 的公开版本。

1 月 5 日,也就是发布的第三天,Tian 对 GPTZero 做出了更新和改善,还显著降低了误报率;此时,新程序已有超过 1 万的用户量了!Tian 也不禁对它的「爆炸性增长」和「病毒式传播」感到震惊。

据 NPR 报道,一周内有 3 万多人试用了 GPTZero,甚至「导致该应用由于出乎意料的高网络流量」而崩溃,托管 GPTZero 的免费平台 Streamlit 此后介入,以更多的内存和资源支持 Tian,以处理网络流量。

Edward Tian 通过在视频中展示其对一篇《纽约客》文章和 LinkedIn 上的 ChatGPT 生成器的帖子的分析,展示了该应用如何区分人类和人工智能撰写的文本。

GPT Zero 的工作原理就是检测文本的「困惑性」(Perplexity)和「突发性」(Burstiness)这两项指标,并分别对其打分,根据统计学特征来确定,文本是由人工智能写的还是人类写的。总体来说,如果这两项参数得分都很低,那么该文本很有可能出自 AI 之手。

这里所说的「困惑性」,是指来自人类所写作品的语言的复杂性和随机性。

这个指标主要是衡量文本在一个句子中的随机程度,以及一个句子的构造方式是否会让 GPTZero 感到困惑。

每当用户在 GPTZero 输入一段测试内容,它就会分别计算出:「文字总困惑度」、「所有句子的平均困惑度」、「每个句子的困惑度」。

这些数值越低,越能说明这个文本对 GPTZero 来说是非常「熟悉」的,那么它很可能是 AI 生成的;相反,如果这些数值越高,就越能说明文本中句子的构造或用词方式让 GPTZero 感到「惊讶」,那么它就更可能是出自人类之手。

这是因为,人工智能接受过数据库的训练,生成的文本在一段时间内,表现出的困惑度会更均匀和恒定,选词的可预测性也更高;而人类书写的文本则不会这样,真人的遣词造句一般会比较随机,比机器更容易写比较出乎意料的词句。

FqFKZzgy8mG9NeIVkHgm9jof7J87

使用 GPTZero 检测文字是否由 ChatGPT 生成|Twitter

而「突发性」,则是指来自人类使用的句子结构的变化。

这个参数主要是比较句子复杂性的变化程度,衡量它们的一致性。

这是因为,人类倾向于写高度复杂的文本;而人工智能产出的文本则是低复杂度的;此外,由于人类的思维结构不是线性的,他们的句子结构也遵循类似的模式。

这意味着,人类使用句子结构,会在长而复杂的句子,和短而简单的句子之间摇摆不定,有着更多的句式变化,比如复杂和简单交替并存,一个长难句之后接着出现更简短的句子;而机器生成的句子则倾向于更加统一,很少会有一系列长度相差很大的句子。

简而言之,在选词上「简单」而「熟悉」,并使用「统一整齐」的句子,是人工智能生成作品的标志特征,而更复杂和多样的东西,则表明是人类写的。这也是「困惑性」和「突发性」这两项指标可以作为衡量标准的原因。

除了 Edward Tian 本人对 GPTZero 进行测试之外,也有不少网友用它对 ChatGPT、一些 GPT-3 衍生工具生成的内容进行了多次测试。最终结果显示,GPTZero 每次都能抓住 AI 生成的文本,并在十多个案例中正确识别了人类写的文本。

GPTZero 的一炮而红,让 Tian 获得了来自 a16z、 Menlo Ventures 和 Red Swan 等知名风投的青睐。不过,面对推特私信和电话轰炸,Tian 却显得异常冷静,他谦逊地表示自己不会拒接投资者打来的电话,但他不会忘记自己仍然是一位即将毕业的大四学生。

同时,他还表示自己的 GPTZero 尚未完成,仍需改进和进一步地开发,甚至计划让大家继续免费使用他的程序,用来支持各地新晋英文老师的工作。

02急需的「AI 透明」

对于 GPTZero 这一甄别文字是否是 AI 写作的新程序,推特上的舆论褒贬不一,以教师为代表的成年人大多喜闻乐见,而学生却讽刺 GPTZero 的创造者 Tian 是「学术缉毒警察」。

的确,当 GPTZero 推出时,Tian 收到了众多教师对该应用程序在检测 AI 写的文章方面的积极反馈,来自世界各地的无数教师也都对 Tian 表达了他们的感激之情——这让他们的教学难度大大减轻了。

当然,也不难理解,不少学生并不看好 Tian 这款打击学术偷工减料、不劳而获的软件。

事实上,不只是 Tian,就连 ChatGPT 的开发商 OpenAI 自己,也已经表明了对防止人工智能剽窃的承诺。

2022 年 12 月,OpenAI 专注于人工智能安全的研究员 Scott Aaronson 透露,该公司正在努力开发「缓解措施」,用一种「不易察觉的秘密信号」对 GPT 生成的文本打上「水印」,以识别其来源,从而打击作弊的系统。

这项技术将通过微妙地调整 ChatGPT 选择的特定单词选择来发挥作用,读者不会注意到这种方式,但对于任何寻找机器生成文本迹象的人来说,这在统计上都是可预测的。

公司发言人表示,「我们将 ChatGPT 作为新研究的预览技术,希望能从现实世界的应用中进行学习。我们认为这是开发和部署功能强大、安全的 AI 系统的关键部分。我们会不断吸取反馈和经验教训,」。

FnvxNlibxPJLitpiEwdG0H_LSmH8

GPTZero 首页|GPTZero

此外,OpenAI 还联合哈佛等高校机构联合打造了一款检测器:GPT-2 Output Detector

作者们先是发布了一个「GPT-2 生成内容」和 WebText 数据集,帮助 AI 理解机器语言和人类语言之间的差异。

随后,用这个数据集对 RoBERTa 模型进行微调,就得到了这个 AI 检测器。其中人类语言一律被识别为 True,AI 生成的内容则一律被识别为 Fake。

值得一提的是,RoBERTa 是 BERT 的改进版。原始的 BERT 使用了 13GB 大小的数据集,但 RoBERTa 使用了包含 6300 万条英文新闻的 160GB 数据集。

尽管如此,还是有不少人认为,「AI 文本检测器」注定是一场失败的「军备竞赛」,其实际效果并不理想,更无法阻挡 ChatGPT 等 AI 语言模型的发展。

然而,尽管 Tian 建立了 GPTZero,他并不反对使用 ChatGPT 等人工智能工具,他认为 GPTZero 应用程序的目的不是阻止这些新技术的使用,而是提供一种负责任地使用这些技术的方法,并提供必要的保护。

同时,相对于对抗或者禁止一项技术,也许更重要的是如何为其使用定下规范和标准。例如,在广告、影视及娱乐等行业,对于 AI 生成类内容的容忍度可能适当提高一些;而在学术、教育和科研领域,非常强调准确性和原创性,毫无疑问,对于 AI 生成内容的容忍度就要低一些。

而如何确定 AI 工具使用的「透明度」,可能要比研究如何「反 AI」,要更有效,也更有意义一些。


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK