谷歌发布PaLM模型，或可为下一代语言模型及搜索引擎发展指引方向
source link: https://www.mittrchina.com/news/detail/10467
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
2021 年，谷歌曾发表一篇文章，阐述了一种名为 Pathways 的下一代 AI 架构。当时谷歌在博客中称，Pathways 是对 AI 的另一种全新理解方式，它解决了现有 AI 系统的许多不足之处，并代表着 AI 系统开发将开启新的篇章。
通过 Pathways 架构，只需训练一个 AI 模型就可以处理上千万种不同的任务。
就在最近，谷歌公司发布了一个基于 Pathways 架构的、拥有 5400 亿参数的转换器语言模型，并将之命名为 PaLM，即 Pathways Language Model。
研究人员称，PaLM 模型在语言理解等各种方面的评估测试中的表现十分出色，甚至还在语言和推理类的测评中超过了人类。
来自谷歌大脑（Google Brain）的研究员雨果·拉罗谢尔（Hugo Larochelle）曾经在一次演讲中指出，深度学习的一大问题是，必须要收集大量数据，而这些数据的收集需要消耗大量的人类劳动。正是由于这一缺陷，仅仅通过深度学习很可能无法实现可以同时处理众多任务的 AI，因为在深度学习中，训练 AI 学习每一种能力，都需要给它展示数百万个甚至更多个示例。
而拉罗谢尔提出的克服这一缺陷的一个方法，就是通过小样本学习。小样本学习的目标就是让 AI 以近似人类学习不同的事物并将不同的知识结合在一起那样，来学习解决以前从未遇到过的新问题。
这样就可以达到以远远低于深度学习需要的样本数据量 ，来实现甚至超过深度学习的效果。除此以外，小样本学习更重要的一个优势，就是将可以利用一台机器所拥有的全部知识和资源来解决新的问题。
在 2021 年谷歌发布的有关 Pathways 的文章中，可以看出谷歌对于下一代 AI 架构的想法与小样本学习的一脉相承。
在文章中工程师们提到，Pathways 架构中训练 AI 时的目标，是通过仅仅一个 AI 模型就可以学习处理所有不同种类的任务；而不是像之前那样，若要想让 AI 学会解决上千种不同的问题，就必须要 AI 进行上千次算法训练，这种方式明显较为低效。
这样一来，AI 模型在解决一类任务方法中的学习所得，可以帮助它学习另一类其他的类似任务。例如，AI 在学习“怎样通过航拍图像预测地形的海拔”中的所得，将可以帮助它学习掌握“怎样预测洪水将如何流经这种地形”的解决方法。
可以说，Pathways 架构是谷歌对于如何将 AI 提升到新水平、并缩小机器学习与人类学习之间差距的前进方向的定义。
而最近发布的 PaLM 语言模型及其测评结果，从某种程度上肯定了这一方向。研究人员为 PaLM 分别进行了自然语言处理任务、BIG-Bench、推理能力、解释的生成、以及推理链等多种测评，据介绍 PaLM 在各个不同测评中都表现不俗。
在英语自然语言处理任务中，PaLM 模型的表现已经优于目前最先进的技术甚至是人类。
而在为 PaLM 进行一个名为 Big-Bench 的基准测试时，该测试包含与推理、翻译、问答相关的超过 150 个任务，结果显示 PaLM 的表现在许多领域优于最先进的技术。
在将 PaLM 模型的 Big-Bench 测评结果与人类进行对比时，可以发现它在英语方面的表现比数学更好。人类的表现在 35% 的任务上超过了 PaLM，尤其是与数学相关的任务，而在与英语相关的语言类任务中，相比将英语翻译成其他语言，PaLM 在将其他语言翻译成英语上的表现更佳。
在有关解释生成的测评中，PaLM 向我们证明了它的卓越能力，甚至成功地解释了一些笑话。
例如，当让 PaLM 阅读这样一则笑话：
我打算在 4 月 6 日坐飞机回家去探望家人，并将这一消息告知妈妈时，我的妈妈说：“哦，太好了，那天晚上刚好有你继父的诗歌朗诵！”于是我决定在 4 月 7 日起飞。
PaLM 理解了这一玩笑并给出了这样的解释：“主人公的母亲试图让他们一起去看继父的诗歌朗诵会，但主人公不想去，所以他将航班改到诗歌朗诵后的第二天。”
而推理链方面的测评主要是考验 AI 对于逻辑规则的应用，以及从已知事实中获得新的发现的能力。而 PaLM 在这一测评中正确地填入所有信息并给出正确答案。
上面列出的 PaLM 在复杂推理问题上的表现，也展示了下一代搜索引擎将如何能够利用来自互联网和其他来源的信息，来给出复杂问题的答案。
而正如 PaLM 的研究人员所强调的，PaLM 并不是 AI 和未来搜索引擎的最终形式，而只是基于 Pathways 架构设想的下一代搜索引擎的第一步。
不过在此之前，还有一些有关伦理的问题需要解决。目前用于大规模语言模型训练的网络数据中，也吸收了许多网络上传播的歧视、偏见等“有害”类信息，而目前 PaLM 还没有抵抗这类信息的方法。
-End-
参考：
https://www.erwincomputers.com/google-palm/444585/
https://samblogs.com/google-palm-algorithm-path-to-next-generation-language-models/
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK