小白深度学习入门：什么是交叉熵啊？
source link: https://www.tuicool.com/articles/Z7nE3i3
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
大家在学习深度学习的过程中，都会碰到cross-entropy这个词，中文叫“交叉熵”，多么高大上的名词！
然而这个“熵”到底是干啥用的，实际上很多人包括我，在一开始都没好好琢磨过。
在面试算法工程师的过程中，经常会问道这样的问题：“什么是熵？”
信息熵？
热力学那个先不说，这里准确的说是“信息熵”。而要知道什么是信息熵，我们得知道什么是信息。
网上的“太阳从东边升起来”的例子大家应该都看过了。我们说，这是一句 毫无信息量 的话，因为他没有 消除任何不确定性 。
前女友对你说“我结婚了”，这句话包含了信息量，去除了不确定性。但如果前女友和你说“我是女的”，这句话就毫无信息量，这就是废话。
信息熵，泛泛的说是用来衡量一段信息的信息量大小的。
这个定义我之前也不理解，直到我看见一个说法，突然茅塞顿开：信息熵是用来衡量 表达一个随机变量需要的最少的比特位数 。
在信息论的世界里，我们追求的是用最经济实惠的方法表达信息（“好话不说二遍”嘛）。
对一个不确定的信息（随机变量）来说，怎么最经济实惠的表达它呢，即如何用最少的比特位表达？
你肯定是看这个随机变量的各个可能的值，概率最大的值，你就用最短的位数去表达，概率越小，你就用越长的位。
而表达位数的期望值，即表达这个随机变量用的比特位数的平均值，就是该随机变量的信息熵。
如果上文看着还是绕，我们做这样一个解释：
假设有两艘军舰在海上航行，它们相隔一定的距离，然后也非常落后没有其他通信手段，两艘军舰相约每隔一分钟就用闪探照灯的方法互相确认一下有没有在附近发现敌人，现在船长让你来具体设计这个方法，你怎么设计呢？
因为大多数时间海上是没敌人的，所以为了节省时间，为了不频繁闪灯被敌人发现，你肯定倾向于用最简单的方式来表示绝大部分时间的情况，比如说只闪一下，而等到真正敌人出现的时候，你再连续的闪烁。
舰娘之间、阿不是，军舰之间如何沟通？
明白了以上道理，信息熵的公式也不难推导出了：
其中x是随机变量，p是x的概率分布函数，logp(1/xi)是该概率下需要的比特位（为啥？ 香农定理，背就对了）。
从定义我们可以看得出来，对一个随机变量来说，如果它的信息熵越大，一般表示这个随机变量取值越多，概率分布越均匀，“混乱程度”就越高； 如果信息熵越小则反之，就像刚才军舰探照灯的例子，因为很可能大部分时间这个随机变量都是一个值。
交叉熵？
终于到正题了，前边咱们费这么大劲说了信息熵。 懂了信息熵，交叉熵就简单啦。
从上边的公式我们可以得到一个很简单的结论，就是一个随机变量的信息熵只取决于它的概率分布。
既然是概率分布，肯定就分真假，有 真实分布 （就是随机变量真正的分布），也有因为各种原因导致的 非真实分布 （比如样本太小啦，数数没数对，或者深度学习中网络没训练好的时候算出来的概率分布）。
那咱们怎么衡量非真实分布和真实分布的差别呢？ 这时候就轮到交叉熵的出场了：
这个公式是不是看着眼熟多了？ 这不就是深度学习里的loss function嘛！
其中p和q就是真实分布和非真实分布。 如果 随机变量的真实分布和非真实分布的交叉熵越小，那表明他们的分布越接近 。
咦，这不正适合当深度学习的损失函数嘛！
实际上我们通过形式也很容易看出，大部分深度学习的损失函数就长这个样子，p就是y（就是1或者0），而q就是y帽（就是网络算出来的概率），换了个马甲而已。
好，关于交叉熵咱们聊到这里，下期再见。
“众智汇” 愿景
尽职尽才，允公允能 —— 本社群不定期举行线上分享，组织群友分享知识、经验、资源，以达到 让我们每个人的职业生涯得到最大程度的发展 的目的 。
欢迎扫面下列二维码关注“悦思悦读”公众微信号
Recommend
-
72
-
39
雷锋网 AI 科技评论按：文章的作者 Georgios Drakos 是一名数据科学家，通过本文作者向我们介绍了交叉验证的基本概念、作用以及如何使用。雷锋网 (公众号：雷锋网)...
-
35
这篇文章实际上是我自己入门过程的总结，一个尽量少废话的C++入门指南。总结完忽然发现像个读书清单?。 具体总结前，想先回答一个问题——要不要先学C，再学C++？ 我作为小白时疑惑过这个问题，在此给后来的小白和当年的自己一个答案。 个人看法是，单就学习C++而
-
45
小白深度学习入门系列
-
19
前言 该篇文章主要介绍 Android 端利用 NDK 工具库来对 C/C++ 进行交叉编译，并通过 makefile 和 cmake 来构建 Android 项目。...
-
23
前言 该篇文章起就正式进入音视频学习了，在进入音视频学习之前我们必须要先学习 FFmpeg 这个库，这个库非常强大，强大到什么地步...
-
30
前言 该篇文章起就正式进入音视频学习了，在进入音视频学习之前我们必须要先学习 FFmpeg 这个库，这个库非常强大，强大到什么地步...
-
26
[TOC] 前言 该篇文章主要介绍 Android 端利用 NDK 工具库来对 C/C++ 进行交叉编译，并通过 makefile 和 cmake 来构建 Andr...
-
11
推荐：适合小白入门的Asp.Net Core 开源学习手册布莱恩特深圳it民工、技术控、博客园开发者
-
3
考虑在数据集上创建模型，但它在看不见的数据上失败。我们不能简单地将模型拟合到我们的训练数据中，然后坐等它在真实的、看不见的数据上完美运行。这是一个过度拟合的例子，我们的模型已经提取了训练数据中的所有模式和噪声。为了防止这种情况发生，我...
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK