Windows下安装配置Xinference指南

Xinference简介

显卡好，电脑好的可用。一般的就不要折腾了。
Xinference 是一个强大且可扩展的本地推理服务器，具有以下特点：

• 支持多种类型模型的部署和服务（LLM、嵌入、图像等）
• 提供统一的 RESTful API 和 Python SDK
• 支持模型量化和优化
• 可以在本地运行开源模型
• 支持多种推理后端（PyTorch、ONNX等）

# Xinference 安装与使用指南

## 1. 安装步骤

### 1.1 创建虚拟环境

conda create -n xin python=3.11
conda activate xin

### 1.2 安装 Xinference

pip install “xinference[all]”

## 2. 启动服务

### 2.1 启动单机服务

xinference-local

### 2.2 指定端口启动（默认端口9997）

xinference-local --host 0.0.0.0 --port 9997

### 2.3 后台运行服务

nohup xinference-local > xinference.log 2>&1 &

## 3. 修改模型目录

### 3.1 查看当前模型目录

xinference env

### 3.2 修改模型存储位置

Windows

set XINFERENCE_HOME=D:\models

Linux/Mac

export XINFERENCE_HOME=/path/to/models

### 3.3 永久修改模型目录
在用户目录下创建 `.xinference/config.toml` 文件，添加以下内容：

home = “D:\models” # Windows

home = “/path/to/models” # Linux/Mac

## 4. 关闭服务

### 4.1 查找服务进程

Windows

netstat -ano | findstr 9997
tasklist | findstr python

Linux/Mac

ps aux | grep xinference

### 4.2 关闭服务

Windows

taskkill /F /PID <进程ID>

Linux/Mac

kill -9 <进程ID>

## 5. 常见问题

### 5.1 安装失败
- 尝试使用国内源：

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

## 6. 注意事项
- 确保 Python 版本 >= 3.9
- 建议使用独立的虚拟环境
- 模型文件较大，请确保存储空间充足
- 首次下载模型可能需要较长时间，请耐心等待

参考资料

• Xinference 官方文档
• Xinference GitHub