最小化语言模型推理：lm.rs 使用教程

1. 项目介绍

lm.rs 是一个使用 Rust 语言编写的最小化语言模型推理库。它可以在不需要机器学习库的情况下，直接在 CPU 上对语言模型进行推理。项目受到 Karpathy 的 llama2.c 和 llm.c 的启发，旨在支持多种语言模型的推理，包括 Gemma、Llama 和 PHI 系列。

2. 项目快速启动

环境准备

确保您的系统中已安装 Rust 编译器和 Python 环境，因为项目需要用到 Python 脚本来转换模型。

依赖安装

首先，安装项目所需的 Python 依赖：

pip install -r requirements.txt

模型转换

从 Hugging Face 下载模型的 .safetensors 和 config.json 文件。对于多模态模型，还需要下载 CLIP 配置文件。

使用以下命令将模型转换为 lm.rs 支持的格式：

python export.py --files [ordered .safetensor files] --config [model config.json] --save-path [name and path to save] --type [model type (GEMMA/LLAMA/PHI)]

对于量化版本，添加 --quantize 和 --quantize-type 标志。

接着，转换 tokenizer：

python tokenizer.py --model-id [huggingface model_id] --tokenizer-type [type of the tokenizer (GEMMA/LLAMA/PHI)]

编译项目

编译 Rust 代码，确保指定目标 CPU：

RUSTFLAGS="-C target-cpu=native" cargo build --release --bin chat

如果需要启用多模态特性，请在编译时添加 --features multimodal 参数。

运行项目

使用以下命令运行编译后的程序：

./target/release/chat --model [model weights file]

其他参数包括 tokenizer、temperature、top-p 等。运行 ./target/release/chat --help 查看所有可用参数。

3. 应用案例和最佳实践

模型推理

运行模型推理时，建议使用量化后的模型，以获得更快的推理速度。对于 PHI3.5-vision 模型，推荐使用温度设置为 0。

多模态推理

在处理多模态数据时，确保启用了 multimodal 特性，并使用 --image 参数提供图像路径。

4. 典型生态项目

目前，lm.rs 项目主要作为独立的推理引擎使用。未来，可以期待社区贡献更多与 lm.rs 集成的项目，例如：

• WebUI：提供图形界面操作模型推理。
• 量化工具：进一步优化模型大小和推理速度。
• 性能监控：添加性能指标监控推理过程。

通过以上教程，您可以开始使用 lm.rs 进行语言模型的本地推理。随着项目的发展，更多功能和优化将不断集成进来。