重要说明:在pycharm选择llm环境对应的解释器。命令行中需要激活对应的环境:conda activate llm。

1、ollama
 下载链接:Ollama

需快速运行预训练模型:Ollama提供了一键下载和运行模型的命令行工具,支持超过1700种模型(如DeepSeek、Llama、Qwen等),适合快速体验和测试

本地部署需求:若需在本地离线运行模型(如数据隐私要求高的场景),Ollama支持本地化部署,并允许自定义模型存储路径

如拉取14b大小的deepseek R1模型:cmd进入命令提示符,ollama pull deepseek-r1:14b

1、安装LangChain

方式1,优先使用 pip 安装(LangChain 主要通过 PyPI 分发):

pip install langchain

pip 是 Python 的官方包管理工具,用于安装和管理 Python 包。适用于所有 Python 环境,包括虚拟环境(如 venv)和全局 Python 环境。 默认从 Python Package Index (PyPI) 获取包。

优点:灵活,可以安装任何在 PyPI 上发布的包。支持虚拟环境,不会污染全局环境。

缺点:如果某些包依赖于系统级的库(如 C/C++ 编译器或特定的系统库),可能需要手动安装这些依赖。对于复杂的依赖关系,可能需要手动解决版本冲突。

方式2:

conda install langchain

conda 是一个跨平台的包管理工具,主要用于管理和安装 Python 包,同时也支持其他语言的包。通常用于管理复杂的科学计算环境,尤其是在需要安装依赖于系统级库的包时。conda-forge 是一个社区驱动的 Conda 包仓库,提供了大量经过测试和优化的包。

**上一个教程中增加了清华和科大的镜像源,设置了全部检索后下载最新的包(即conda config --set channel_priority flexible)

优点:自动解决依赖关系,包括系统级的依赖。提供预编译的包,安装速度通常比 pip 快。适合需要安装复杂依赖(如 GPU 加速库)的场景。

缺点:包的更新速度可能比 PyPI 慢。更适合在 Conda 环境中使用,如果在全局 Python 环境中使用可能会导致环境混乱。

2、安装cuda

 安装GPU版本的pytorch时,需要安装与电脑cuda匹配的pytorch。本机初始是cuda 12.7,pytorch目前尚未支持,因此需要重新安装cuda 12.6。cuda是由NVIDIA图形驱动程序提供的。

去英伟达主页NVIDIA Developer搜索Cuda软件:

cuda 12.6下载地址,根据自己电脑操作系统选择对应的软件: 

CUDA Toolkit 12.6 Update 3 Downloads | NVIDIA Developer

Logo

GitCode 天启AI是一款由 GitCode 团队打造的智能助手,基于先进的LLM(大语言模型)与多智能体 Agent 技术构建,致力于为用户提供高效、智能、多模态的创作与开发支持。它不仅支持自然语言对话,还具备处理文件、生成 PPT、撰写分析报告、开发 Web 应用等多项能力,真正做到“一句话,让 Al帮你完成复杂任务”。

更多推荐