1.transformers库

• Hugging Face 提供了一个非常方便的 Python 库——transformers，它可以让你轻松下载、加载和使用预训练的模型。

1.1 安装transformers

pip install transformers 

1.2 下载模型的代码示例

#将模型下载到本地调用
from transformers import AutoModelForCausalLM,AutoTokenizer

#将模型和分词工具下载到本地，并指定保存路径
model_name = "uer/gpt2-chinese-cluecorpussmall"
cache_dir = "model/uer/gpt2-chinese-cluecorpussmall"

#下载模型
AutoModelForCausalLM.from_pretrained(model_name,cache_dir=cache_dir)
#下载分词工具
AutoTokenizer.from_pretrained(model_name,cache_dir=cache_dir)

print(f"模型分词器已下载到：{cache_dir}")

2. 手动下载模型文件

• 步骤：
• 1. 访问 Hugging Face 模型页面。 找到你想要的模型，例如 uer/gpt2-chinese-cluecorpussmall。
• 2. 在模型页面上点击 Download 按钮，下载模型文件（通常包括 .bin 权重文件和配置文件 config.json，以及分词器文件vocab.txt、tokenizer.json

3. huggingface-cli 下载

• 官网: cli教程

3.1 安装huggingface-cli

• 需要安装 transformers 和 huggingface_hub 库，它们包含了 huggingface-cli 工具。

pip install huggingface_hub

3.2 下载到指定文件夹

huggingface-cli download bert-base-uncased --local-dir D:\tmp

• 下载进度