Written in 2024

组成部分

ChatGPT = Foundation model + Prompt + Alignment + Context window

基础模型(Foundation model)
对齐（Alignment）
提词（Prompt）
上下文窗口（Context window）

Prompt

指用户对话的输入

Alignment

Alignment: 是指模型的输入和输出之间的一致性，将问题与回答对齐

将多轮对话中确保模型能够理解哪些问题,对应生成哪些回答

context window

Context window: 是指多轮对话中模型在生成回复时所考虑的上下文范围, 最新的回答会根据Context window所有的信息来生成

较大的上下文窗口可以帮助模型更好地理解对话的背景和语境，但也会增加计算成本。

context window = 聊天历史 + 最新问题

context window 有限

ChatGPT 3.5 = 约3000字

gpt算力限制
需要花费算力在识别与理解需求上

使用问题

1. 健忘 【原因：之前的对话背景超出context window】
2. 懒惰 【原因：context window中对话背景混乱，ChatGPT由于算力有限忽略了一部分】

产生原因：

聊天 = 附加到context window
超长聊天 > 超长的context window = 健忘

Q1: 写个程序, 不要 import math
A1: ......
Q2: 添加A功能
A2: ......
Q3: 添加B功能
A3: ......
Q4: 添加C功能
# Q1 超出context window
A4: import math ...... 

混乱聊天 > 混乱的context window = 懒惰

Q1: 写个程序, `不要 import math`
A1: `......do something`
Q2: 添加`A`功能
A2: ......do A
Q3: 添加`B`功能
A3: ......do A ,B
Q4: 添加`C`功能
# ChatGPT需要从 context window(Q1,A1,Q2,A2,Q3,A1,Q4) 中花费固定算力识别出正确的需求
A4: ......do A ,C 
Q5: 你忘记了B

如何解决

第一反应——更多聊天 = 更多更混乱的context window = 无法修复

• 推荐方案：
  控制 context window，简短、清晰
  将所有需求，清晰的放在一个段落

Q1: 写个程序实现 A,B,C,D, 不要 import math
A1: ......

• 当 context window 发展到无法控制时
  1. 新开一个chat 将之前的正确信息转移过去
  2. 或者使用ChatGPT【编辑】 问题的功能。

ChatGPT可以 【编辑】 问题，重新【save & submit】，相当于重置 context window