KS(Kolmogorov-Smirnov)统计量是一种用于评估二分类模型性能的指标,主要用于评估模型在正例和负例之间的区分度。KS统计量通过累积分布函数(CDF)的差异来衡量模型对正负样本的区分程度。

KS值的计算过程包括以下步骤:

  1. 计算分数: 对每个样本使用模型得到的概率或分数进行排序。
  2. 构建累积分布函数(CDF): 分别计算正例和负例中每个分数对应的累积百分比。
  3. 计算累积分布函数差异: 计算正例和负例累积分布函数之间的最大差异值,即KS统计量。

在这里插入图片描述


其中:

  • CDF正例(s) 是正例中分数小于等于s的样本的累积百分比。
  • CDF负例(s) 是负例中分数小于等于s的样本的累积百分比。

KS值的范围是0到1值越大表示模型在正例和负例之间的区分度越好

在某些场景中,KS值也被用于评估模型在不同阈值下的性能。例如,通过在不同概率或分数阈值下计算KS值,可以选择一个最佳的阈值来平衡模型的精确率和召回率。

在一些机器学习框架和库中,计算KS值的函数通常已经包含在性能评估工具中。

Logo

GitCode 天启AI是一款由 GitCode 团队打造的智能助手,基于先进的LLM(大语言模型)与多智能体 Agent 技术构建,致力于为用户提供高效、智能、多模态的创作与开发支持。它不仅支持自然语言对话,还具备处理文件、生成 PPT、撰写分析报告、开发 Web 应用等多项能力,真正做到“一句话,让 Al帮你完成复杂任务”。

更多推荐