目录

一、信息量

二、熵

三、相对熵（KL散度）

四、交叉熵 

五、Ref

记录下交叉熵的知识点。

一、信息量

事件x_{0}的信息量为：

I(x_{0})=-log(p(x_{0}))

二、熵

熵用来表示所有信息量的期望:

H(X)=-\sum_{i=1}^{n} p(x_{i})log(p(x_{i}))

三、相对熵（KL散度）

 KL 散度（Kullback-Leibler divergence）来衡量两个分布的差异。

机器学习中，p用来表示样本的真实分布，q用来表示模型所预测的分布。

KL散度的计算公式：

D_{KL}(p||q)=\sum_{i=1}^{n}p(x_{i})log(\frac{p(x_{i})}{q(x_{i})})

D_{KL}的值越小，表示q分布和p分布越接近

四、交叉熵 

对KL散度进行展开：

D_{KL}(p||q)=\sum_{i=1}^{n}p(x_{i})log(\frac{p(x_{i})}{q(x_{i})})

                  =\sum_{i=1}^{n}p(x_{i})log(p(x_{i})-\sum_{i=1}^{n}p(x_{i})log(q(x_{i}))

                  =-H(p(x))-\sum_{i=1}^{n}p(x_{i})log(q(x_{i}))

等式的前一部分恰巧就是p的熵，等式的后一部分，就是交叉熵：

H(p,q)=-\sum_{i=1}^{n}p(x_{i})log(q(x_{i}))

由于在机器学习中，H(p(x))是定值，所以在优化过程中，只需要关注交叉熵就可以，用其做loss，评估模型；

五、Ref

# 机器学习
Logo
天启AI社区

GitCode 天启AI是一款由 GitCode 团队打造的智能助手，基于先进的LLM（大语言模型）与多智能体 Agent 技术构建，致力于为用户提供高效、智能、多模态的创作与开发支持。它不仅支持自然语言对话，还具备处理文件、生成 PPT、撰写分析报告、开发 Web 应用等多项能力，真正做到“一句话，让 Al帮你完成复杂任务”。

更多推荐

cover

【感知机】感知机(perceptron)学习算法例题及详解

avatar 天启AI社区
cover

AI云原生：数智化时代AI Agent加速落地的技术基石与实践指南（THS）

avatar 天启AI社区
cover

【AI论文】设计实验室：通过迭代检测与修正来设计幻灯片

avatar 天启AI社区