Word2Vec是Google公司于2013年提出的一种高效训练词向量的模型[插图]，基本出发点是上下文相似的词的词向量也应该相似。它在2018年之前非常流行，但随着2018年Google公司推出预训练语言表征模型BERT（Bidirectional EncoderRepresentation from Transformers，基于Transformer的双向编码器表示）以及其他模型的出现，Word2Vec被这些新模型超越。

2017年Google公司提出的Transformer架构[插图]引入了自注意力机制和位置编码，改进了RNN和LSTM不可并行计算的缺 陷。Google公司发布的模型还包括2018年用来解决NLP（Natural Language Processing，自然语言处理）中的多义词问题的双向LSTM语言模型ELMo[插图]以及2018年基于Transformer架构的具有3.4亿个参数的BERT模型。OpenAI公司推出的生成式预训练语言模型包括2018年的具有1.1亿个参数的GPT、2019年的具有15亿个参数的GPT-2、2020年的具有1750亿个参数的GPT-3，以及2022年的ChatGPT。这些模型或产品将大模型的发展推向高潮。2023年，越来越多的开源模型如LLaMA、ChatGLM等相继发布。