AI部署——微调——应用开发 | 软件安装 | ollama | langchain | cuda | pytorch
安装GPU版本的pytorch时,需要安装与电脑cuda匹配的pytorch。我是将之前的卸载了重新装的12.6的cuda,详见后面。conda 是一个跨平台的包管理工具,主要用于管理和安装 Python 包,同时也支持其他语言的包。通常用于管理复杂的科学计算环境,尤其是在需要安装依赖于系统级库的包时。conda-forge 是一个社区驱动的 Conda 包仓库,提供了大量经过测试和优化的包。缺点
重要说明:在pycharm选择llm环境对应的解释器。命令行中需要激活对应的环境:conda activate llm。
1、ollama
下载链接:Ollama
需快速运行预训练模型:Ollama提供了一键下载和运行模型的命令行工具,支持超过1700种模型(如DeepSeek、Llama、Qwen等),适合快速体验和测试
本地部署需求:若需在本地离线运行模型(如数据隐私要求高的场景),Ollama支持本地化部署,并允许自定义模型存储路径
如拉取14b大小的deepseek R1模型:cmd进入命令提示符,ollama pull deepseek-r1:14b
1、安装LangChain
方式1,优先使用 pip 安装(LangChain 主要通过 PyPI 分发):
pip install langchain
pip 是 Python 的官方包管理工具,用于安装和管理 Python 包。适用于所有 Python 环境,包括虚拟环境(如 venv)和全局 Python 环境。 默认从 Python Package Index (PyPI) 获取包。
优点:灵活,可以安装任何在 PyPI 上发布的包。支持虚拟环境,不会污染全局环境。
缺点:如果某些包依赖于系统级的库(如 C/C++ 编译器或特定的系统库),可能需要手动安装这些依赖。对于复杂的依赖关系,可能需要手动解决版本冲突。
方式2:
conda install langchain
conda 是一个跨平台的包管理工具,主要用于管理和安装 Python 包,同时也支持其他语言的包。通常用于管理复杂的科学计算环境,尤其是在需要安装依赖于系统级库的包时。conda-forge 是一个社区驱动的 Conda 包仓库,提供了大量经过测试和优化的包。
**上一个教程中增加了清华和科大的镜像源,设置了全部检索后下载最新的包(即conda config --set channel_priority flexible)
优点:自动解决依赖关系,包括系统级的依赖。提供预编译的包,安装速度通常比 pip 快。适合需要安装复杂依赖(如 GPU 加速库)的场景。
缺点:包的更新速度可能比 PyPI 慢。更适合在 Conda 环境中使用,如果在全局 Python 环境中使用可能会导致环境混乱。
2、安装cuda
安装GPU版本的pytorch时,需要安装与电脑cuda匹配的pytorch。本机初始是cuda 12.7,pytorch目前尚未支持,因此需要重新安装cuda 12.6。cuda是由NVIDIA图形驱动程序提供的。
去英伟达主页NVIDIA Developer搜索Cuda软件:
cuda 12.6下载地址,根据自己电脑操作系统选择对应的软件:
CUDA Toolkit 12.6 Update 3 Downloads | NVIDIA Developer

GitCode 天启AI是一款由 GitCode 团队打造的智能助手,基于先进的LLM(大语言模型)与多智能体 Agent 技术构建,致力于为用户提供高效、智能、多模态的创作与开发支持。它不仅支持自然语言对话,还具备处理文件、生成 PPT、撰写分析报告、开发 Web 应用等多项能力,真正做到“一句话,让 Al帮你完成复杂任务”。
更多推荐
所有评论(0)