不负其名OpenAI，GPT-2模型阶段性公布……
source link: https://www.jiqizhixin.com/articles/2019-05-04-3?amp%3Butm_medium=referral
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
更大的GPT-2模型已经可用了，你还在等什么呢？
几个月前，OpenAI 发布了强大的通用语言模型 GPT-2 ，而在宣布这个好消息没多久之后，它又宣布要与开源「say goodbye」。理由是：GPT-2太好用了！要是不小心被坏人利用怎么办？？
对于这个理由，广大吃瓜群众表示：呵呵……
说正经的，对于这个理由，AI 社区是无法接受的。自OpenAI 表示不开源的理由之后，Reddit 上就掀起了明嘲暗讽的血雨腥风……
机器学习社区发起了一个暗讽GPT-2的帖子：为了防止滥用，我是不是不应该公布在 MNIST 训练的 23064 层残差网络？
除了这种明显的嘲讽，还有理性的机器学习人士认真地陈述了自己反对OpenAI 这种做法的理由：条理清晰，有理有据，在 reddit 上获得大量支持（详情请看「 OpenAI 被讽 ClosedAI？语言模型并没有想象中的强大 」）。
可能是反对的浪潮比较大，也可能是因为被人家说的理由戳中了。总之，OPenAI 最近开始开放GPT-2模型。
OpenAI 在其博客上表示：
我们正采用两种机制来发布GPT-2：分阶段发布和基于伙伴关系的共享。作为分阶段发布的下一步，我们将先公布参数为 3.45 亿的模型。而对于致力于提高大型语言模型的 AI 和安全社区合作伙伴，我们将与之分享 7.62 亿和 15 亿参数的模型。
也就是说，OpenAI 准备逐步一点点公开 GPT-2 模型，或者基于合作伙伴的关系给对方分享更大参数的模型。对此，OpenAI 同样给出了自己的理由。
分阶段发布
分阶段发布包括一系列模型的逐步发布。这样做的目的是给人们足够的时间来评估这些模型的特性，讨论其社会影响，并评估每次发布带来的影响。
作为分阶段发布策略的下一步，OpenAI 将发布 3.45 亿参数的模型。相比 1.17 亿参数的模型，这个版本的模型性能有所提高，但在生成连贯文本的能力方面，它还不及 15 亿参数的模型。
虽然相比 1.17 亿参数的模型，3.45 亿版本被滥用的风险更高，但这还是比 15 亿版本的风险要低多了。而且，OpenAI 认为，很多人已经有能力获得 3.45 亿版本需要的训练系统。这种不断发展的复现环境也为其发布决策提供了参考。
决定发布 3.45 亿参数的模型时，OpenAI 考虑了以下因素：（不同用户）生成连贯文本的不同尺寸模型的易用性、人类在文本生成过程中的作用、未来被其他人复现和发布的可能性和时间、被滥用的可能性、关于不可观察使用的专家知情推论等。OpenAI 仍无法确定其中一些因素，并且希望机器学习社区能够继续给出关于正确发布模型的建议。
OpenAI 希望正在进行的关于偏见、检测和滥用的研究能够给予其及时发布更大模型的信心。六个月之后，他们将分享关于语言模型社会影响的更全面分析以及对发布决策的启发。
基于合作伙伴的分享
自 2 月份发布GPT-2并宣布不将其开源以来，OpenAI 和诸多外部研究人员、科技公司以及政策制定者就其发布策略和日益庞大的语言模型的影响进行了对话。他们还在活动中介绍和讨论了其研究，包括与 Partnership on AI 组织共同举办的晚宴活动和在华盛顿 DC 全球参与中心（Global Engagement Center）向政策制定者做的展示活动。
现在，OpenAI 正与学术机构、非盈利组织、工业实验室建议合作伙伴关系，这些组织机构都致力于提高社会对大型语言模型的准备程度。OpenAI 与这些组织分享了 7.62 亿参数和 15 亿参数的模型，以促进对语言模型输出检测、语言模型偏差分析和缓解以及模型滥用可能性分析的研究。
虽然，对于机器学习社区的广大研究者来说，当前能用的GPT-2模型不是很大，但好歹是能用了，而且以后会放出更大的模型。这下，OpenAI 终于不负其名了。
参考来源：https://openai.com/blog/better-language-models/#update
Recommend
-
6
惟有饮者留其名？ 谢益辉 / 2018-04-16 李白在《将进酒》中说“古来圣贤皆寂寞，惟有饮者留其名”，让一些人不服。这事儿我觉着不用较真，留名的当然不可能只是喝酒的人；他就这么一说，我们也就这么一听，就完了。 2015 年...
-
7
此 App 只在 iPhone 和 iPad 的 App Store 中提供。
-
17
高考应援原创曲 《不负韶光》（Hanser&Q酱 ）_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili高考应援原创曲 《不负韶光》（Hanser&Q酱 ）53.4万播放 · 5715弹幕2021-05-21 10:02:05 全站排行榜最高第16名
-
6
2021-05-17 10:37 无限未来，不负期待，2021世界区块链大会·杭州正式启动！ 今天，我们正式宣布，2021世界区块链大会·杭州即将在7月24-25日开启。本届世界区块链大会将首次落户杭州！大会拟将由杭州...
-
10
[.NET大牛之路 001] .NET 其名 本文来自『.NET大牛之路』星球的分享 大家好，这...
-
6
鲜衣怒马少年时，不负韶华行且知 | 2021，我这一年。发布于 2021-12-31 English本文参与了
-
4
四战狗，终不负 - 虎扑社区四战狗，终不负KD在布鲁克林(26级)楼主2022-02-21 09:05:40
-
4
作者 | 剑萧阿里大淘系数据体系经过多年发展，通过丰富的数据和产品支撑了复杂的业务场景，在数据领域取得了非常大的领先优势。随着数据规模越来越大，开发人员越来越多，虽有阿里大数据体系规范进行统一管理，但是由于没有在产品侧进行有效的模型设计和...
-
8
OpenAI 有望推出多模态 GPT 模型 2023-9-20 19:2:13 | 作者: 投稿 | 分类:
-
12
GPT-5要来了！OpenAI公布2024年计划--丁科技网 GPT-5要来了！OpenAI公布2024年计划...
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK