前言:为什么你需要Open WebUI?

一句话定义:Open WebUI是一个开源的、可自托管的类ChatGPT网页界面,让你用浏览器就能和本地大模型流畅对话,同时完全掌控自己的数据。

第一阶段:准备环境与硬件


  • Open WebUI只是一个交互页面,所以保证本地可以成功运行大模型,并且开放接口
  • 已经安装docker,便于部署Open WebUI

第二阶段:安装 Open WebUI


Docker是所有部署方式中最简单、最稳定的,一条命令搞定一切

docker run -d -p 3000:8080 
	-v open-webui:/app/backend/data 
	--name open-webui 
	--restart always ghcr.nju.edu.cn/open-webui/open-webui:main

打开浏览器的3000端口:http://IP:3000/,即可访问页面

第三阶段:Open WebUI 使用


进入页面后,注册用户自动成为管理员,随便填写即可,不会校验

本地成功运行大模型(例如使用vLLM加载模型),点击页面左上方的添加模型

在这里插入图片描述
点击左侧的外部连接,在URL文本框输入我们的对话地址,只需要写到v1即可。密钥随便填写即可,点击右侧的按钮可以测试地址是否通畅,最后点击保存。

在这里插入图片描述

对于不同的模型,可以分别编辑其参数或者提示词,在该页面编辑的参数和提示词对于整个模型的所有对话都生效,最后点击下方的保存更新

在这里插入图片描述

配置好模型地址以及参数后,回到主页面,便可以选择模型进行对话。

在这里插入图片描述

如果只需要更改当前轮次的参数和提示词,点击对话页面右侧的对话高级设置即可

在这里插入图片描述

Logo

AtomGit AI 社区提供模型库、数据集、Agent、Token等资源

更多推荐