目录

查看相应论文的时候,提及了二元交叉熵进行优化改进
此文针对该知识点查漏补缺

二元交叉熵为损失函数,主要应用于二分类问题中

具体公式如下:
在这里插入图片描述
本身为二分类问题,yi代表真实的标签纸,如果yi代表标签0,那么(1 - yi)则代表标签1。log(p(yi))为预测的标签值。对应公式为标签值乘以改标签的概率值

特性如下:

  • yi标签为1,p(y)概率趋近1,则整体的损失函数值为0
    yi标签为0,p(y)概率趋近0,则整体的损失函数值为0
    在这里插入图片描述

  • yi标签为1,p(y)概率趋近0,则整体的损失函数值为正无穷
    yi标签为0,p(y)概率趋近1,则整体的损失函数值为正无穷
    在这里插入图片描述

通过上面的概率以及图像可得知,当预测标签和真实标签接近的时候,损失函数越接近
反之如果两者越来越偏差,则数字会越来越大,如果两者直接对立,则损失趋近正无穷。当两者的标签值损失很大的时候,有利用模型的学习

如果想看更加详细的数学推导可看这篇文章:简单的交叉熵损失函数,你真的懂了吗?

Logo

GitCode 天启AI是一款由 GitCode 团队打造的智能助手,基于先进的LLM(大语言模型)与多智能体 Agent 技术构建,致力于为用户提供高效、智能、多模态的创作与开发支持。它不仅支持自然语言对话,还具备处理文件、生成 PPT、撰写分析报告、开发 Web 应用等多项能力,真正做到“一句话,让 Al帮你完成复杂任务”。

更多推荐