Generalization or Memorization: Data Contamination and Trustworthy Evaluation for Large Language Models
泛化还是记忆:大型语言模型的数据污染与可信评估

摘要

关于大语言模型(LLMs)令人印象深刻能力的最新表述通常通过开放获取基准上的评估来支持。考虑到LLMs训练数据的庞大规模和广泛来源,其可能显式或隐式地包含测试数据,从而使LLMs更容易受到数据污染的影响。然而,由于训练数据的不透明性、模型的黑盒访问以及合成训练数据的快速增长,检测和缓解LLMs的数据污染面临重大挑战。在本文中,我们提出CDD,即面向LLMs的基于输出分布的数据污染检测(Contamination Detection via output Distribution for LLMs)。CDD仅需采样文本即可通过识别LLM输出分布的尖峰性来检测数据污染。为缓解评估中数据污染的影响,我们还提出TED:基于输出分布的可信评估(Trustworthy Evaluation via output Distribution),其基于对LLM输出分布的校正。为促进这项研究,我们引入两个基准,即DETCON和COMIEVAL,用于数据污染检测和污染缓解评估任务。大量实验结果表明,在Accuracy、F1 Score和AUC指标方面,CDD相较于其他污染检测方法取得了21.8%-30.2%的平均相对提升,并能有效检测隐式污染。在各种污染设置下,TED大幅缓解了高达66.9%的归因于数据污染的性能提升。在现实世界应用中,我们揭示ChatGPT在HumanEval基准上极有可能遭受数据污染。

论文
代码

1.引言

近年来,大型语言模型(LLMs)已经彻底改变了自然语言处理(NLP)、人工智能和软件工程领域。为了评估LLMs在各种下游任务中的能力,例如自动问答、自然语言推理和代码生成,人们基于海量基准数据集对LLMs进行了广泛测试(Chen et al., 2021; Cobbe et al., 2021)。结果表明,LLMs在这些任务上表现出优越的性能。在惊叹于LLMs强大能力的同时,人们通常希望确定一个LLM的优异性能究竟是由于对任务的真正理解以实现泛化,还是仅仅因为它已经见过测试数据而形成记忆,即遭受数据污染。数据污染,也称为数据泄漏,指的是测试数据已被包含在模型训练数据中的情形(Magar et al., 2022; Dickson, 2023),导致模型在这些泄漏的测试数据上表现得异常出色。由于LLMs预训练数据集的规模庞大且来源广泛,它们更容易受到数据污染,这主要可分为两种情况:1 arXiv:2402.15938v3 [cs.CL] 2024年5月31日 1) 对于现有基准数据集,由于LLMs训练数据中存在大量文本引用、代码复用和合成数据,它们更容易被泄漏。2) 对于即将出现的基准数据集,新构建的测试数据可能已经存在于LLMs持续演进的训练数据中,因为人们通常并不了解LLMs训练数据的具体细节。因此,防止LLMs的数据污染变得极为困难。数据污染对LLMs产生了深远且有害的影响(Zhou et al., 2023; Jacovi et al., 2023; Roberts et al., 2023)。如图1所示,随着LLMs持续在受污染数据(即泄漏数据和其他训练数据)上学习,它们在泄漏数据上的性能不断提升,但在相似数据上却停滞甚至下降。该示例反映出,数据污染可能导致对模型性能的显著高估,从而影响LLMs在实际应用中的可信性和有效性。此外,数据污染还可能掩盖模型的潜在缺陷,为人们识别和改进LLMs的不足带来重大障碍。因此,对LLMs而言,检测数据污染并确保可信评估至关重要。尽管其重要性已得到承认,LLMs的数据污染检测与可信评估仍然是有待解决且具有挑战性的问题(Yang et al., 2023; Huang et al., 2023)。数据污染检测的困难本质上可归因于三个因素:1) 不透明的训练数据。它通常不公开且全面,同时会随着新的LLMs不断演进。2) 黑盒模型。LLMs的参数和输出概率可能无法获得,例如ChatGPT和GPT-4(OpenAI, 2023)。3) 合成数据的激增。它可能将测试数据的变体 2 ^2 2隐式引入训练数据。此外,关于缓解数据污染影响的评估研究几乎没有。在本文中,我们通过提出CDD:面向LLMs的基于输出分布的污染检测(Contamination Detection via output Distribution for LLMs),克服了上述挑战。CDD使用采样文本来识别LLM输出分布的尖峰性,以进行数据污染检测。我们遵循一个假设:训练很可能会改变模型的输出分布,从而导致输出分布更加尖峰化,对于训练数据,从而使模型在这些数据上倾向于产生特定输出。在此基础上,我们还提出了TED:通过输出分布的可信评估,其旨在通过校正LLM的输出分布来减轻评估中数据污染的影响。我们构建了两个新数据集,即DETCON和COMIEVAL,分别用于数据污染检测和污染缓解评估任务。实验结果表明,CDD达到了最先进(SOTA)性能,并且也适用于识别隐式污染,即训练数据中存在测试数据的变体。TED成功地在各种场景下减轻了评估中数据污染的影响。此外,我们还提供了强有力的证据,表明ChatGPT在HumanEval数据集上受到数据污染影响。

2这些变体可能包括但不限于:翻译成其他语言、添加解释或中间过程,以及提供替代解决方案。

在这里插入图片描述

图2:LLMs输出分布的示意图。

2 动机示例

一个超越记忆的强大 LLM 能够针对给定输入生成多样化的输出。考虑到 LLM 庞大的词汇表规模,其中包含大量语义相似的 token,从 LLM 中采样得到的输出分布不应表现出尖峰性。然而,当 LLM 仅通过训练形成记忆时,LLM 倾向于生成与其训练数据异常相似的输出,如图 2 所示。从统计角度看,假设 LLM 输出 token 的平均概率为 0.95 0.95 0.95,则采样到两个包含相同 100 100 100 个连续 token 的输出的似然约为 0.005 < 0.01 0.005 < 0.01 0.005<0.01,这是一个极其不可能的事件。因此,如果一个 LLM 通过采样持续输出某些相同或高度相似的文本,那么它最可能由记忆化导致。图3展示了一个示例,说明 LLM 的输出分布如何随着数据污染程度的变化而变化。我们通过计算采样文本的编辑距离来对 LLM 的输出分布建模,这被称为编辑距离分布(§ 3.1)。如图3所示,在不存在数据污染的情况下(即出现次数为 0 0 0),零编辑距离的密度为 0.0035 0.0035 0.0035,其中零编辑距离意味着采样文本完全匹配。然而,一旦 LLM 在训练期间哪怕仅一次接触到泄漏数据(即出现次数为 1 1 1),零编辑距离的密度就会急剧升高至原来的 20 20 20 倍以上,呈现出尖峰性。因此,数据污染对 LLM 输出分布的影响是巨大的。在本文中,据我们所知,我们首次从 LLM 输出分布的角度出发,在无法获取输出概率和训练数据的情况下,仅利用采样文本,来应对与数据污染检测和污染缓解评估相关的挑战。

在这里插入图片描述

图3:在不同程度的数据污染下,由编辑距离建模的大语言模型输出分布(设置与图1相同)。

3 方法论

本节首先建立编辑距离分布(§ 3.1),然后在此基础上,我们为数据污染检测设计 CDD(§ 3.2),并为污染缓解评估设计 TED(§ 3.3)。

3.1 编辑距离分布

编辑距离(Levenshtein et al., 1966)是衡量两个字符串之间相似度的一种度量,其定义为将一个字符串转换为另一个字符串所需的最少操作次数。这些操作通常包括单个字符的插入、删除或替换。

考虑到 LLM 的生成基于词元而非字符,本文采用词元级编辑距离。给定两个字符串 a a a 和 b b b,词元级编辑距离计算如下:

ED ⁡ ( a , b ) = { Len ⁡ ( a ) 若  Len ⁡ ( b ) = 0 , Len ⁡ ( b ) 若  Len ⁡ ( a ) = 0 , ED ⁡ ( Tail ⁡ ( a ) , Tail ⁡ ( b ) ) 若  Head ⁡ ( a ) = Head ⁡ ( b ) , 1 + min ⁡ { ED ⁡ ( Tail ⁡ ( a ) , b ) ED ⁡ ( a , Tail ⁡ ( b ) ) ED ⁡ ( Tail ⁡ ( a ) , Tail ⁡ ( b ) ) 否则 , (1) \operatorname{ED}(a,b)= \begin{cases} \operatorname{Len}(a) & \text{若 } \operatorname{Len}(b)=0,\\ \operatorname{Len}(b) & \text{若 } \operatorname{Len}(a)=0,\\ \operatorname{ED}(\operatorname{Tail}(a),\operatorname{Tail}(b)) & \text{若 } \operatorname{Head}(a)=\operatorname{Head}(b),\\ 1+\min \begin{cases} \operatorname{ED}(\operatorname{Tail}(a),b)\\ \operatorname{ED}(a,\operatorname{Tail}(b))\\ \operatorname{ED}(\operatorname{Tail}(a),\operatorname{Tail}(b)) \end{cases} & \text{否则}, \end{cases}\tag{1} ED(a,b)=⎩ ⎨ ⎧​Len(a)Len(b)ED(Tail(a),Tail(b))1+min⎩ ⎨ ⎧​ED(Tail(a),b)ED(a,Tail(b))ED(Tail(a),Tail(b))​​若 Len(b)=0,若 Len(a)=0,若 Head(a)=Head(b),否则,​(1)

其中 Len ⁡ ( a ) \operatorname{Len}(a) Len(a) 表示经词元化后的 a a a 的长度, Head ⁡ ( a ) \operatorname{Head}(a) Head(a) 表示经词元化后的 a a a 的第一个词元, Tail ⁡ ( a ) \operatorname{Tail}(a) Tail(a) 表示由经词元化后的 a a a 中位于 Head ⁡ ( a ) \operatorname{Head}(a) Head(a) 之后的所有词元组成的字符串。我们使用动态规划加速计算,并使用滚动数组降低空间开销。

给定一个 LLM,我们可以通过计算采样文本 S = { s 1 , s 2 , … , s n } S=\{s_1,s_2,\ldots,s_n\} S={s1​,s2​,…,sn​} 的编辑距离来对其输出分布建模,其中 n n n 是样本数。具体而言,我们将密度函数 ρ \rho ρ 定义为:

ρ ( d ) = ∑ i = 1 n − 1 ∑ j = i + 1 n I ( ED ⁡ ( s i , s j ) = d ) n ( n − 1 ) / 2 , (2) \rho(d)=\frac{\sum_{i=1}^{n-1}\sum_{j=i+1}^{n}\mathbb{I}(\operatorname{ED}(s_i,s_j)=d)}{n(n-1)/2},\tag{2} ρ(d)=n(n−1)/2∑i=1n−1​∑j=i+1n​I(ED(si​,sj​)=d)​,(2)

其中 d ∈ Z ≥ 0 d \in \mathbb{Z}_{\ge 0} d∈Z≥0​, I ( ⋅ ) \mathbb{I}(\cdot) I(⋅) 是指示函数,当条件为真时输出 1 1 1,否则输出 0 0 0。

3.2 用于数据污染检测的 CDD

给定由提示 x x x 和相应答案 y y y 组成的测试数据 { x , y } \{x,y\} {x,y},我们旨在检测该数据是否已被模型 M M M 训练过。

我们以输入 x x x 从 M M M 中采样得到 S S S,以计算 ρ \rho ρ。对于数据污染检测, ρ \rho ρ 的计算可以简化为:

ρ ′ ( d ) = ∑ i = 1 n I ( ED ⁡ ( s i , y ) = d ) n . (3) \rho'(d)=\frac{\sum_{i=1}^{n}\mathbb{I}(\operatorname{ED}(s_i,y)=d)}{n}.\tag{3} ρ′(d)=n∑i=1n​I(ED(si​,y)=d)​.(3)

然而, ρ ′ ( d ) \rho'(d) ρ′(d) 假设测试数据必须以其原始形式 { x , y } \{x,y\} {x,y} 被显式泄露,而没有考虑变体形式,即 { x , y ^ } \{x,\hat{y}\} {x,y^​} 可能存在的隐式污染。

通过观察,我们发现模型输出的复制百分比随着数据污染程度的增加而增加,如图1所示。因此,我们用模型的输出文本近似 y y y,并最终选择用模型的贪心搜索文本 s t = 0 s_{t=0} st=0​ 替换 y y y,这可以通过在采样时将温度设置为 t = 0 t=0 t=0 轻松实现。因此,
ρ ∗ ( d ) = ∑ i = 1 n I ( E D ( s i , s t = 0 ) = d ) n . (4) \rho^*(d)=\frac{\sum_{i=1}^{n} I(\mathrm{ED}(s_i,s_{t=0})=d)}{n}. \tag{4} ρ∗(d)=n∑i=1n​I(ED(si​,st=0​)=d)​.(4)
在本工作中,我们默认采用 ρ ∗ ( d ) \rho^*(d) ρ∗(d) 来度量编辑距离分布。进一步,我们将编辑距离分布的峰值性定义为
P e a k ( M ; x ) = F ( d ≤ α ⋅ l ) = ∑ d = 0 α ⋅ l ρ ∗ ( d ) , (5) \mathrm{Peak}(M;x)=F(d\le \alpha\cdot l)=\sum_{d=0}^{\alpha\cdot l}\rho^*(d), \tag{5} Peak(M;x)=F(d≤α⋅l)=d=0∑α⋅l​ρ∗(d),(5)
其中 F F F 是累积分布函数, α ∈ [ 0 , 1 ] \alpha \in [0,1] α∈[0,1] 是用于控制相似度的超参数,而 l l l 定义为:
l = max ⁡ ( { L e n ( s ) ∣ s ∈ S } ) . (6) l=\max(\{\mathrm{Len}(s)\mid s\in S\}). \tag{6} l=max({Len(s)∣s∈S}).(6)
通过识别峰值性,CDD 可以按如下方式检测测试数据上的数据污染:
C D D ( M ; x ) = { 已泄漏 , 若  P e a k ( M ; x ) > ξ , 未泄漏 , 若  P e a k ( M ; x ) ≤ ξ , (7) \mathrm{CDD}(M;x)= \begin{cases} \text{已泄漏}, & \text{若 } \mathrm{Peak}(M;x)>\xi, \\ \text{未泄漏}, & \text{若 } \mathrm{Peak}(M;x)\le \xi, \end{cases} \tag{7} CDD(M;x)={已泄漏,未泄漏,​若 Peak(M;x)>ξ,若 Peak(M;x)≤ξ,​(7)
其中 ξ ∈ [ 0 , 1 ] \xi \in [0,1] ξ∈[0,1] 是用于控制阈值的超参数。CDD 用于数据污染检测的伪代码如算法1所示。

在这里插入图片描述

3.3 用于污染缓解评估的 TED

我们使用 TED 实现污染缓解评估,TED 包含两条规则来校正 LLM 的输出分布,即排除尖峰性和去除重复项。

  1. 排除尖峰性。我们希望恢复未受污染的采样结果,具体通过排除 LLM 输出分布中的尖峰性,同时排除贪心文本 s t = 0 s_{t=0} st=0​,该文本最有可能表示 LLM 可能记忆的泄露数据。

S e = { s ∣ s ∈ S ∧ E D ( s , s t = 0 ) > τ } , (8) S_e = \{s \mid s \in S \land \mathrm{ED}(s, s_{t=0}) > \tau\}, \tag{8} Se​={s∣s∈S∧ED(s,st=0​)>τ},(8)

其中 τ ∈ [ 0 , + ∞ ) \tau \in [0, +\infty) τ∈[0,+∞) 是用于控制差异的超参数。

  1. 去除重复项。其旨在去除重复的采样结果,尤其是那些不同于 s t = 0 s_{t=0} st=0​ 的结果,这些结果在未受污染的采样结果中重复出现的可能性也较低。

S r = { s i ∣ s i ∈ S ∧ ∀ j < i , s j ≠ s i } . (9) S_r = \{s_i \mid s_i \in S \land \forall j < i, s_j \neq s_i\}. \tag{9} Sr​={si​∣si​∈S∧∀j<i,sj​=si​}.(9)

在评估阶段,使用 TED 来缓解数据污染影响的评估指标 E E E 可定义为:

E T E D ( M ; x ) ≡ E T E D ( S ; x ) = E ( S e ∧ S r ; x ) , (10) E_{\mathrm{TED}}(M; x) \equiv E_{\mathrm{TED}}(S; x) = E(S_e \land S_r; x), \tag{10} ETED​(M;x)≡ETED​(S;x)=E(Se​∧Sr​;x),(10)

用于污染缓解评估的 TED 伪代码如算法 2 所示。

在这里插入图片描述

4 实验

在本节中,我们首先介绍两个数据集——DETCON 和 COMIEVAL,它们分别面向数据污染检测与污染缓解评估任务(§ 4.1)。随后,我们在 DETCON 数据集上评估 CDD 的有效性(§ 4.2)。在此之后,我们评估 TED 在 COMIEVAL 数据集上的性能(§ 4.3)。最后,我们展示 CDD 和 TED 在真实场景中的应用结果(§ 4.4)。

3我们改写泄露数据,并且泄露数据变体中的每道题都有另一个不同于原始解的正确解,其中大部分由 ChatGPT 生成,约 10% 由 ChatGPT 辅助的人类生成。

表 1:模拟 LLMs 不同数据污染场景的详细统计。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.1 数据集

考虑到数据污染检测与污染缓解评估任务缺乏数据集,我们投入超过 2100 小时构建 DETCON 和 COMIEVAL 数据集,使用两块 A6000 GPU( 48 GB × 2 48\text{GB} \times 2 48GB×2)。 我们通过使用基准数据训练 LLM 来模拟数据污染。为了覆盖数据污染的各种场景,我们考虑了不同设置,包括两个领域基准在四个 LLM 上的泄露、两种污染形式(即显式和隐式泄露数据)、训练期间使用三种不同学习率、泄露数据与其他训练数据的四种混合比例,以及 21 种污染程度(即出现次数)。详细统计见表 1。由于大规模预训练成本高昂,我们采用 LoRA(Hu et al., 2022)在这些不同设置下微调基础模型。在此基础上,我们构建了 DETCON 和 COMIEVAL 数据集。 DETCON 包含 2224 个数据污染检测任务,涵盖两个领域(代码生成和逻辑推理)和两种污染形式(显式和隐式),这些任务需要检测特定 LLM 是否在特定数据上存在污染。我们从泄露数据集中随机选择数据,并从表 1 的设置中随机选择 LLM,其中出现次数 0 0 0 表示未污染,其他出现次数表示污染。 COMIEVAL 包含 560 个污染缓解评估任务,由从表 1 中随机选择的受污染模型及对应的未污染模型组成,这些任务需要评估受污染模型的性能,并尝试缓解数据污染的影响,以接近未污染模型的性能。 DETCON 和 COMIEVAL 数据集的详细统计与介绍见附录 A。

4.2 数据污染检测

实验设置。我们将 CDD 与基线进行比较,包括:1) N N N-gram:我们对字符级和 token 级均采用广泛使用的 13-gram;2)嵌入相似度:使用嵌入基础模型的嵌入来计算相似度;3) 困惑度:计算给定提示下原始答案的困惑度;4) Min- k k k% Prob:计算给定提示下原始答案的最小 k k k% 概率,以及 5) LLM Decontaminator:使用其他 LLM 来判断相似度,我们采用 ChatGPT 作为该 LLM。CDD 与基线之间的差异如表 2 所示。对于超参数,我们设置 α = 0.05 \alpha = 0.05 α=0.05, ξ = 0.01 \xi = 0.01 ξ=0.01,默认将 CDD 的 l l l 的上限设为 100,基线方法则遵循其论文中的设置。CDD 的效果。如表 3 所示,与其他污染检测方法相比,CDD 在代码生成和逻辑推理领域均达到 SOTA 性能。CDD 在准确率、F1 分数和 AUC 指标上均表现出稳定的提升,平均相对提升幅度在 21.8% 到 30.2% 之间。此外,CDD 的优势在于它仅需 LLM 的采样文本即可检测数据污染,而无需表 2 中的额外条件。我们还评估了 CDD 和其他污染检测方法在识别显式和隐式数据污染形式方面的性能,如图 5 所示。在显式污染的情况下,随着污染程度的增加,所有方法的检测效果都会提升。在更难检测的较低污染程度下,CDD 优于其他方法。相比之下,在隐式污染的情况下,只有 CDD 保持了稳健的性能,而其他方法则面临显著局限。在实验中,我们凭直觉为 CDD 固定超参数 α \alpha α 和 ξ \xi ξ。在图 4(a) 和 (b) 中,我们通过改变其中一个超参数并固定另一个超参数,在 DETCON 数据集上实证分析 α \alpha α 和 ξ \xi ξ 的影响。结果表明,通过更好的 α \alpha α 和 ξ \xi ξ 超参数设置,仍有进一步提升的空间。

在这里插入图片描述
图4:超参数的影响,其中 α \alpha α 和 ξ \xi ξ 用于 CDD, τ \tau τ 用于 TED,并且我们使用灰色虚线表示所采用的超参数。

在这里插入图片描述
图5:CDD在显式和隐式污染形式下进行数据污染检测的有效性。

4.3 污染缓解评估

实验设置。我们在 COMIEVAL 上评估 TED 在不同学习率、基础 LLM、混合比例、污染形式和出现次数下用于污染缓解的有效性。我们将超参数设置为 τ = 2 \tau = 2 τ=2,并使用 Pass@1(Chen 等,2021)作为评估指标 E E E。

在这里插入图片描述
图 6:在不同设置下,随着数据污染程度增加,我们的 TED 对模型性能的影响。图例显示了特定数据泄露场景的设置。

TED 的效果。如图 6 所示,在数据污染场景中,TED 能够稳定地抑制不同设置和出现次数下的性能提升。此外,TED 的优势在于,其对未污染模型(即出现次数为 0)的性能影响很小,几乎可以忽略不计。然而,随着污染程度持续增加,TED 对性能的影响在所有不同设置中都变得明显。

表 4:TED 的消融研究,其中 RD 和 EP 分别表示 TED 中的去除重复规则和排除尖峰度规则。

我们分析了 TED 中每个组件的作用,如表 4 所示。主要功能由排除尖峰度规则提供,其次是去除重复规则。这两个组件都有益于 TED,并且单独使用时也有效。

如图 4© 所示,TED 的超参数 τ \tau τ 增大,会使得对归因于数据污染的性能提升的抑制更为显著。同时,它也会略微降低未污染模型的性能。

4.4 真实世界应用

实验设置。在真实世界应用中,我们将 CDD 和 TED 应用于 ChatGPT,并构建两个新数据集以提供辅助证据:1) CodeForces2305 包含 90 道自 2023 年 5 月以来从 CodeForces 网站收集的最简单级别编程题,该时间晚于 ChatGPT 训练数据的最新更新截止时间,即 2023 年 4 月。2) HumanEval_R 基于 HumanEval 重构,它替换了函数签名,将需求翻译为德语、法语和中文,从工作 (Dong et al., 2023a) 中选择不同的公开测试用例作为提示,并保留私有测试用例用于测试。为提高检测精度,我们将 CDD 的超参数 α \alpha α 设为 0,并将 ξ \xi ξ 设为更大的值 0.2。我们将 TED 的 τ \tau τ 保持为默认值 2。

表 5:面向 ChatGPT 的数据污染检测与污染缓解评估,其中“pre”和“post”分别表示固定版本“0613”和“1106”的 ChatGPT API,Avg. Peak 表示通过式 5 计算的输出分布尖峰度的平均值,CR 表示基准中由 CDD 检测到的受污染任务比例。

在这里插入图片描述

ChatGPT 的数据污染。如表 5 所示,在 HumanEval 数据集上,两个版本的 ChatGPT 都表现出较高的 Avg. Peak 和泄漏率,并且随着 ChatGPT 持续在新数据上学习,“post”版本变得更高。考虑到采用了更严格的 α \alpha α 和 ξ \xi ξ,可以推测 ChatGPT 很可能在 HumanEval 数据集上遭受数据污染,并且这种污染会随时间变得越来越严重。这一假设通过 HumanEval_R 和 CodeForces2305 数据集上的评估得到进一步证实。HumanEval_R 表明,其较高的 Avg. Peak 和泄漏率不易归因于问题难度。通过重构过程修改提示形式后,ChatGPT 的各项性能、Avg. Peak 和泄漏率均显著降低。在不太可能涉及数据污染的 CodeForces2305 数据集上,ChatGPT 的性能显著低于预期,Avg. Peak 低于 0.01,泄漏率为 0。此外,TED 在受污染的 HumanEval 和 HumanEval_R 上均表现出显著有效性。

5 相关工作

数据污染检测。大语言模型的数据污染概念可以从 GPT-3 (Brown et al., 2020) 的背景中推导出来。由于 GPT-3 的预训练语料库规模庞大,它不可避免地与一些评估基准发生重叠。因此,GPT-3 采用 13-gram 重叠检测来移除训练集中与基准测试集冲突的数据。一些工作 (Pan et al., 2020; Zhou et al., 2023; Jacovi et al., 2023; Dodge et al., 2021) 揭示了数据污染的严重后果,并敦促关注这一问题。然而,当前发布的大多数 LLM 并未公开其预训练语料库,这给数据污染检测带来了新挑战。近期工作尝试在无法访问预训练语料库的情况下检测污染 (Oren et al., 2023; Deng et al., 2023; Golchin et al., 2023)。Min- k % k\% k% Prob (Shi et al., 2023) 计算生成 token 的 k % k\% k% 最小概率的平均值,若其超过某一阈值,则认为受到污染。文献 (Li, 2023) 假设泄漏到训练集中的数据往往表现出更低的困惑度,并利用困惑度分析进行检测。然而,这些方法通常除文本外还需要其他模型输出(例如概率),这给检测像 ChatGPT 这样的闭源 LLM 带来了挑战,并且忽略了来自测试数据变体的潜在隐式污染。近期研究 (Huang et al., 2023; Yang et al., 2023) 表明,基于 n n n-gram 过滤训练数据可能无法有效解决数据污染问题,尤其是在涉及语义等价的句子改写时。为此,LLM Decontaminator (Yang et al., 2023) 基于其他先进 LLM 检测测试数据与训练数据的相似性。我们的工作仅需采样文本即可通过输出分布检测 LLM 的数据污染,并考虑了潜在的隐式污染。

污染缓解评估。为缓解数据污染的影响并确保可信评估,若干方法侧重于构建新的评估基准 (Golchin et al., 2023)。文献 (Zhu et al., 2023) 使用 LLM 对受污染数据集进行改写以用于评估。然而,LLM 的合成数据被广泛用于训练,其中已经包含大量改写数据 (Yang et al., 2023)。文献 (Li et al., 2023b) 利用时间信息构建了一个从 2023 年 1 月开始的基准。然而,构建高质量基准成本高昂且耗时,而且不幸的是,ChatGPT 和 GPT-4 的训练数据截止时间已从 2021 年 9 月更新至 2023 年 4 月,并且仍在不断推迟。我们的工作从 LLM 输出分布这一标准出发实现污染缓解评估,并与前述工作正交。

6 结论

本文提出了两种新方法,即 CDD 和 TED,用于处理 LLM 的数据污染检测和污染缓解评估,并考虑了 LLM 的输出分布。我们为这两项任务构建了两个对应数据集,即 DETCON 和 COMIEVAL。大量实验结果表明 CDD 和 TED 的优越性和通用性。此外,我们还发现 ChatGPT 很可能在 HumanEval 数据集上遭受数据污染。我们希望为该方向提供启示,并呼吁更多关注数据污染问题。

7 局限性

我们的工作存在若干局限性,我们旨在在未来工作中解决这些问题:

首先,我们工作的验证主要集中于代码生成和逻辑推理基准,这些基准具有高度代表性且被广泛采用。未来,我们将进一步在其他基准上验证我们的方法。

其次,我们的方法需要多次采样来计算输出分布,并且采样次数越多,效果越好。我们可以使用并行采样技术加速采样,从而减少时间开销。

第三,考虑到计算资源的限制,我们采用一种流行的参数高效微调方法,即 LoRA,而非全参数微调,来模拟 LLM 的数据污染。在未来工作中,我们计划尝试全参数微调。

最后,在构建我们的数据集时,我们假设所使用的四个基础 LLM 在所选基准上不存在数据污染。然而,实际上,这些 LLM 可能存在轻微的数据污染。为完全避免这一问题,可能有必要在一个已知完全不含测试数据的训练集上从头重新训练一个 LLM。然而,进行这样的过程将成本高得令人望而却步。

表 6:DETCON 和 COMIEVAL 数据集的统计信息,其中每个文本都带有概率。

在这里插入图片描述

引用文献

Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. 2020. Language models are few-shot learners. CoRR, abs/2005.14165.
Mark Chen, Jerry Tworek, Heewoo Jun, Qiming Yuan, Henrique Pondé de Oliveira Pinto, Jared Kaplan, Harrison Edwards, Yuri Burda, Nicholas Joseph, Greg Brockman, Alex Ray, Raul Puri, Gretchen Krueger, Michael Petrov, Heidy Khlaaf, Girish Sastry, Pamela Mishkin, Brooke Chan, Scott Gray, Nick Ryder, Mikhail Pavlov, Alethea Power, Lukasz Kaiser, Mohammad Bavarian, Clemens Winter, Philippe Tillet, Felipe Petroski Such, Dave Cummings, Matthias Plappert, Fotios Chantzis, Elizabeth Barnes, Ariel Herbert-Voss, William Hebgen Guss, Alex Nichol, Alex Paino, Nikolas Tezak, Jie Tang, Igor Babuschkin, Suchir Balaji, Shantanu Jain, William Saunders, Christopher Hesse, Andrew N. Carr, Jan Leike, Joshua Achiam, Vedant Misra, Evan Morikawa, Alec Radford, Matthew Knight, Miles Brundage, Mira Murati, Katie Mayer, Peter Welinder, Bob McGrew, Dario Amodei, Sam McCandlish, Ilya Sutskever, and Wojciech Zaremba. 2021. Evaluating large language models trained on code. CoRR.
Karl Cobbe, Vineet Kosaraju, Mohammad Bavarian, Mark Chen, Heewoo Jun, Lukasz Kaiser, Matthias Plappert, Jerry Tworek, Jacob Hilton, Reiichiro Nakano, Christopher Hesse, and John Schulman. 2021. Training verifiers to solve math word problems. arXiv preprint arXiv:2110.14168.
Together Computer. 2023. Redpajama: An open source recipe to reproduce llama training dataset.
Chunyuan Deng, Yilun Zhao, Xiangru Tang, Mark Gerstein, and Arman Cohan. 2023. Investigating data contamination in modern benchmarks for large language models. CoRR, abs/2311.09783.
Ben Dickson. 2023. Why data contamination is a big issue for llms.
Jesse Dodge, Maarten Sap, Ana Marasovic, William Agnew, Gabriel Ilharco, Dirk Groeneveld, Margaret Mitchell, and Matt Gardner. 2021. Documenting large webtext corpora: A case study on the colossal clean crawled corpus. In EMNLP (1), pages 12861305. Association for Computational Linguistics.
Yihong Dong, Jiazheng Ding, Xue Jiang, Zhuo Li, Ge Li, and Zhi Jin. 2023a. Codescore: Evaluating code generation by learning code execution. CoRR, abs/2301.09043.
Yihong Dong, Xue Jiang, Zhi Jin, and Ge Li. 2023b. Self-collaboration code generation via chatgpt. CoRR, abs/2304.07590.
Yihong Dong, Ge Li, and Zhi Jin. 2023c. CODEP: grammatical seq2seq model for general-purpose code generation. In ISSTA.
Shahriar Golchin and Mihai Surdeanu. 2023. Time travel in llms: Tracing data contamination in large language models. CoRR, abs/2308.08493.
Edward J. Hu, Yelong Shen, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen. 2022. Lora: Low-rank adaptation of large language models. In ICLR. OpenReview.net.
Yiming Huang, Zhenghao Lin, Xiao Liu, Yeyun Gong, Shuai Lu, Fangyu Lei, Yaobo Liang, Yelong Shen, Chen Lin, Nan Duan, and Weizhu Chen. 2023. Competition-level problems are effective LLM evaluators. CoRR, abs/2312.02143.
Alon Jacovi, Avi Caciularu, Omer Goldman, and Yoav Goldberg. 2023. Stop uploading test data in plain text: Practical strategies for mitigating data contamination by evaluation benchmarks. In EMNLP, pages 5075–5084. Association for Computational Linguistics.
Xue Jiang, Yihong Dong, Lecheng Wang, Qiwei Shang, and Ge Li. 2023. Self-planning code generation with large language model. CoRR, abs/2303.06689.
Vladimir I Levenshtein et al. 1966. Binary codes capable of correcting deletions, insertions, and reversals. In Soviet physics doklady, volume 10, pages 707–710. Soviet Union.
Jia Li, Ge Li, Yunfei Zhao, Yongmin Li, Zhi Jin, Hao Zhu, Huanyu Liu, Kaibo Liu, Lecheng Wang, Zheng Fang, Lanshen Wang, Jiazheng Ding, Xuanming Zhang, Yihong Dong, Yuqi Zhu, Bin Gu, and Mengfei Yang. 2024. Deveval: Evaluating code generation in practical software projects. CoRR, abs/2401.06401.
Raymond Li, Loubna Ben Allal, Yangtian Zi, Niklas Muennighoff, Denis Kocetkov, Chenghao Mou, Marc Marone, Christopher Akiki, Jia Li, Jenny Chim, Qian Liu, Evgenii Zheltonozhskii, Terry Yue Zhuo, Thomas Wang, Olivier Dehaene, Mishig Davaadorj, Joel Lamy-Poirier, Joa ̃o Monteiro, Oleh Shliazhko, Nicolas Gontier, Nicholas Meade, Armel Zebaze, Ming-Ho Yee, Logesh Kumar Umapathi, Jian Zhu, Benjamin Lipkin, Muhtasham Oblokulov, Zhiruo Wang, Rudra Murthy V, Jason Stillerman, Siva Sankalp Patel, Dmitry Abulkhanov, Marco Zocca, Manan Dey, Zhihan Zhang, Nour MoustafaFahmy, Urvashi Bhattacharyya, Wenhao Yu, Swayam Singh, Sasha Luccioni, Paulo Villegas, Maxim Kunakov, Fedor Zhdanov, Manuel Romero, Tony Lee, Nadav Timor, Jennifer Ding, Claire Schlesinger, Hailey Schoelkopf, Jan Ebert, Tri Dao, Mayank Mishra, Alex Gu, Jennifer Robinson, Carolyn Jane Anderson, Brendan Dolan-Gavitt, Danish Contractor, Siva Reddy, Daniel Fried, Dzmitry Bahdanau, Yacine Jernite, Carlos Muñoz Ferrandis, Sean Hughes, Thomas Wolf, Arjun Guha, Leandro von Werra, and Harm de Vries. 2023a. Starcoder: may the source be with you! CoRR, abs/2305.06161.
Yucheng Li. 2023. Estimating contamination via perplexity: Quantifying memorisation in language model evaluation. CoRR, abs/2309.10677.
Yucheng Li, Frank Guerin, and Chenghua Lin. 2023b. Latesteval: Addressing data contamination in language model evaluation through dynamic and time-sensitive test construction. CoRR, abs/2312.12343.
Inbal Magar and Roy Schwartz. 2022. Data contamination: From memorization to exploitation. In ACL (2), pages 157–165. Association for Computational Linguistics.
Erik Nijkamp, Bo Pang, Hiroaki Hayashi, Lifu Tu, Huan Wang, Yingbo Zhou, Silvio Savarese, and Caiming Xiong. 2023. Codegen: An open large language model for code with multi-turn program synthesis. In ICLR. OpenReview.net.
OpenAI. 2023. GPT-4 technical report. CoRR, abs/2303.08774.
Yonatan Oren, Nicole Meister, Niladri S. Chatterji, Faisal Ladhak, and Tatsunori B. Hashimoto. 2023. Proving test set contamination in black box language models. CoRR, abs/2310.17623.
Xudong Pan, Mi Zhang, Shouling Ji, and Min Yang. 2020. Privacy risks of general-purpose language models. In SP, pages 1314–1331. IEEE.
Manley Roberts, Himanshu Thakur, Christine Herlihy, Colin White, and Samuel Dooley. 2023. Data contamination through the lens of time. CoRR, abs/2310.10628.
Baptiste Rozière, Jonas Gehring, Fabian Gloeckle, Sten Sootla, Itai Gat, Xiaoqing Ellen Tan, Yossi Adi, Jingyu Liu, Tal Remez, Jérémy Rapin, Artyom Kozhevnikov, Ivan Evtimov, Joanna Bitton, Manish Bhatt, Cristian Canton-Ferrer, Aaron Grattafiori, Wenhan Xiong, Alexandre Défossez, Jade Copet, Faisal Azhar, Hugo Touvron, Louis Martin, Nicolas Usunier, Thomas Scialom, and Gabriel Synnaeve. 2023. Code llama: Open foundation models for code. CoRR, abs/2308.12950.
Teven Le Scao, Angela Fan, Christopher Akiki, Ellie Pavlick, Suzana Ilic, Daniel Hesslow, Roman Castagné, Alexandra Sasha Luccioni, François Yvon, Matthias Gallé, Jonathan Tow, Alexander M. Rush, Stella Biderman, Albert Webson, Pawan Sasanka Ammanamanchi, Thomas Wang, Benoît Sagot, Niklas Muennighoff, Albert Villanova del Moral, Olatunji Ruwase, Rachel Bawden, Stas Bekman, Angelina McMillan-Major, Iz Beltagy, Huu Nguyen, Lucile Saulnier, Samson Tan, Pedro Ortiz Suarez, Victor Sanh, Hugo Laurençon, Yacine Jernite, Julien Launay, Margaret Mitchell, Colin Raffel, Aaron Gokaslan, Adi Simhi, Aitor Soroa, Alham Fikri Aji, Amit Alfassy, Anna Rogers, Ariel Kreisberg Nitzav, Canwen Xu, Chenghao Mou, Chris Emezue, Christopher Klamm, Colin Leong, Daniel van Strien, David Ifeoluwa Adelani, and et al. 2022. BLOOM: A 176b-parameter open-access multilingual language model. CoRR, abs/2211.05100.
Sijie Shen, Xiang Zhu, Yihong Dong, Qizhi Guo, Yankun Zhen, and Ge Li. 2022. Incorporating domain knowledge through task augmentation for frontend javascript code generation. In ESEC/SIGSOFT FSE, pages 1533–1543. ACM.
Weijia Shi, Anirudh Ajith, Mengzhou Xia, Yangsibo Huang, Daogao Liu, Terra Blevins, Danqi Chen, and Luke Zettlemoyer. 2023. Detecting pretraining data from large language models. CoRR, abs/2310.16789.
Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert, Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, Dan Bikel, Lukas Blecher, Cristian CantonFerrer, Moya Chen, Guillem Cucurull, David Esiobu, Jude Fernandes, Jeremy Fu, Wenyin Fu, Brian Fuller, Cynthia Gao, Vedanuj Goswami, Naman Goyal, Anthony Hartshorn, Saghar Hosseini, Rui Hou, Hakan Inan, Marcin Kardas, Viktor Kerkez, Madian Khabsa, Isabel Kloumann, Artem Korenev, Punit Singh Koura, Marie-Anne Lachaux, Thibaut Lavril, Jenya Lee, Diana Liskovich, Yinghai Lu, Yuning Mao, Xavier Martinet, Todor Mihaylov, Pushkar Mishra, Igor Molybog, Yixin Nie, Andrew Poulton, Jeremy Reizenstein, Rashi Rungta, Kalyan Saladi, Alan Schelten, Ruan Silva, Eric Michael Smith, Ranjan Subramanian, Xiaoqing Ellen Tan, Binh Tang, Ross Taylor, Adina Williams, Jian Xiang Kuan, Puxin Xu, Zheng Yan, Iliyan Zarov, Yuchen Zhang, Angela Fan, Melanie Kambadur, Sharan Narang, Aurélien Rodriguez, Robert Stojnic, Sergey Edunov, and Thomas Scialom. 2023. Llama 2: Open foundation and finetuned chat models. CoRR, abs/2307.09288.
Shuo Yang, Wei-Lin Chiang, Lianmin Zheng, Joseph E. Gonzalez, and Ion Stoica. 2023. Rethinking benchmark and contamination for language models with rephrased samples. CoRR, abs/2311.04850.
Kun Zhou, Yutao Zhu, Zhipeng Chen, Wentong Chen, Wayne Xin Zhao, Xu Chen, Yankai Lin, Ji-Rong Wen, and Jiawei Han. 2023. Don’t make your LLM an evaluation benchmark cheater. CoRR, abs/2311.01964.
Wenhong Zhu, Hongkun Hao, Zhiwei He, Yunze Song, Yumeng Zhang, Hanxu Hu, Yiran Wei, Rui Wang, and Hongyuan Lu. 2023. CLEAN-EVAL: clean evaluation on contaminated large language models. CoRR, abs/2311.09154.

Logo

AtomGit AI 社区提供模型库、数据集、Agent、Token等资源

更多推荐