一、信息量
交叉熵是信息论中的概念，了解信息熵的本质，需要先了解信息
在生活中， 我们常常听到说“xxxx事情信息量很大”。从言语中我们能分析出这件事情可能是爆炸性的新闻。接下来我们来分析一下:
事件A: 新发布的iphone一台 7000 人名币
事件B: 新发布的iphone不要钱，免费送
你可能会感叹 事件B 的信息量有点大， 的确如此，因为事件B发生的可能性很小，我们要确认事件B，需要再去获取其他信息作为填充。 而事件A发生的概率很大，基本上不用再去获取其他信息就可以确认。
所以一条消息的信息量是和事件发生的概率相关。
image
x0 : 代表事件
P(x0) : 代表x0事件发生的概率
I(x0) : 代表x0所包含的信息量
二、熵
上面描述的是单个事件一个可能所包含的信息量， 接下来，我们来描述一下单个事件所有可能所产生的信息量。
例如： 明天的天气，可能是雨天、晴天、雾天 等等
image
H(X) 表示的就是熵
三、相对熵(KL散度)
用于衡量对于同一个随机变量x的两个单独的概率分布P(x)和Q(x)之间的差异。对比同一个事件的两个分布P(x) 和 Q(x)的差异。
==先复习一下 对数相加减法==
image
相对熵的公式如下
image
KL 越小模型越接近
四、交叉熵
交叉熵，实际上是相对熵变形提取
image
训练中label是固定，所以-H(P(x))是常量，所以如果要使KL最，我们只需要优化后半部分
image
==交叉熵广泛用于逻辑回归的Sigmoid和Softmax函数中作为损失函数使==
