大家好我是木木,自从2022年11月30日OpenAI发布ChatGPT后,大模型迅速火热起来,人工智能作为当下最火的行业之一,2025年春节期间DeepSeek R1模型大火。LLM中有很多的技术,今日我们做一个小案例使用本地使用Python进行SDK调用百度千帆LLM。

本地使用SDK调用大模型都是需要收费的,一般来说我们自己要做项目或者自己练习才会使用这种方式。

基本上每个厂商对新注册用户都可以免费使用1个月的时间。

环境准备

1、安装包

pip install qianfan : 这是调用百度千帆平台LLM的Python SDK包

2、百度千帆的AK和SK(下面会说如何获取)

3、需要联网

案例代码:

话不多说先上案例代码,代码简洁但行行都是精品,都是经过大神们的封装最终实现通过简单SDK直接调用大模型。本地没有使用流式输出,输出结果会等待一段时间后全部一次性输出。

注意点:

1、model:模型名称(千帆支持的模型名称,下面会有说)

2、content:输入的问题

import os
import qianfan

AK = '自己的AK'    # 模板:'jc8yXXXXXXXXXXK'
SK = '自己的AK'    # 模板:'awXXXXXXXXXQpPKgoIPT'
# 从环境变量获取AK和SK
os.environ["QIANFAN_AK"] = AK
os.environ["QIANFAN_SK"] = SK
# 初始化聊天对象
chat_comp = qianfan.ChatCompletion(model="ERNIE-4.0-8K")
# 进行简单对话
resp = chat_comp.do(messages=[{"role": "user", "content": "写一首歌"}])
# 输出结果
print(resp["result"])

效果展示

常见问题

1、千帆AK和SK如何获取

1、登录千帆官网:千帆大模型平台-百度智能云千帆

2、登录账号

3、点击控制台

4、进入大模型平台

5、创建应用获得AK和SK,创建完记得保存

6、查看AK和SK

2、免费期间千帆可以使用的模型名称

提供几个:可选的,详细可以看官方文档。

模型名称

模型介绍

ERNIE-4.0-8K

百度自研的旗舰级超大规模⼤语⾔模型,相较ERNIE 3.5实现了模型能力全面升级,广泛适用于各领域复杂任务场景;支持自动对接百度搜索插件,保障问答信息时效。

ERNIE-3.5-8K

百度自研的旗舰级大规模⼤语⾔模型,覆盖海量中英文语料,具有强大的通用能力,可满足绝大部分对话问答、创作生成、插件应用场景要求

快速看支持的模型名称方法:不推荐。 

也可以在model哪里不写模型,之后运行后会报错,报错信息会提示支持那些模型

qianfan.errors.InvalidArgumentError: The provided model `` is not in the list of supported models. If this is a recently added model, try using the `endpoint` arguments and create an issue to tell us. Supported models: dict_keys(['ERNIE-4.0-8K-Latest', 'ERNIE-4.0-8K-0613', 'ERNIE-4.0-Turbo-8K', 'ERNIE-4.0-Turbo-8K-Latest', 'ERNIE-4.0-Turbo-8K-Preview', 'ERNIE-Lite-AppBuilder-8K-0614', 'ERNIE-3.5-8K-0701', 'ERNIE-3.5-8K-0613', 'ERNIE-Lite-Pro-8K', 'ERNIE-Lite-8K-0922', 'ERNIE-Lite-8K-0308', 'ERNIE-Lite-V', 'ERNIE-3.5-8K', 'ERNIE-4.0-8K', 'ERNIE-4.0-8K-0329', 'ERNIE-4.0-8K-0104', 'ERNIE-4.0-8K-Preview-0518', 'ERNIE-4.0-8K-preview', 'ERNIE-3.5-128K', 'ERNIE-3.5-8K-preview', 'ERNIE-3.5-8K-0205', 'ERNIE-3.5-8K-0329', 'ERNIE-Speed-Pro-8K', 'ERNIE-Speed-8K', 'ERNIE-Speed-Pro-128K', 'ERNIE-Speed-128K', 'ERNIE Speed-AppBuilder', 'ERNIE-Tiny-8K', 'ERNIE-Novel-8K', 'ERNIE-Function-8K', 'Qianfan-Dynamic-8K', 'ERNIE-Character-8K', 'ERNIE-Character-Fiction-8K', 'BLOOMZ-7B', 'Llama-2-7B-Chat', 'Llama-2-13B-Chat', 'Llama-2-70B-Chat', 'Meta-Llama-3-8B', 'Meta-Llama-3-70B', 'Qianfan-BLOOMZ-7B-compressed', 'Qianfan-Chinese-Llama-2-7B', 'ChatGLM2-6B-32K', 'AquilaChat-7B', 'XuanYuan-70B-Chat-4bit', 'Qianfan-Chinese-Llama-2-13B', 'Qianfan-Chinese-Llama-2-70B', 'ChatLaw', 'Yi-34B-Chat', 'Mixtral-8x7B-Instruct', 'Gemma-7B-it', 'UNSPECIFIED_MODEL', 'ERNIE-Speed', 'ERNIE Speed', 'ERNIE 3.5', 'ERNIE-Lite-8K', 'ERNIE-4.0-preview', 'ERNIE-3.5-preview', 'ERNIE-Functions-8K', 'ERNIE-Bot-4', 'ERNIE-Bot', 'ERNIE-Bot-turbo', 'EB-turbo-AppBuilder', 'ERNIE-Bot-turbo-AI']) might use `QIANFAN_ACCESS_KEY` and `QIANFAN_SECRET_KEY` instead to get complete features supported.

3、SK(aw8ivS***) is not correct, please check! SK(`aw8ivS***`) 错误, 请检查!

这个错误是AK或者SK不正确

解决方法,重新按上面的步骤确认AK和SK 或者 看链接博客:做RAG开发时,调用千帆LLM遇到use any one of (access_key, secret_key), (ak, sk)-CSDN博客

Logo

GitCode 天启AI是一款由 GitCode 团队打造的智能助手,基于先进的LLM(大语言模型)与多智能体 Agent 技术构建,致力于为用户提供高效、智能、多模态的创作与开发支持。它不仅支持自然语言对话,还具备处理文件、生成 PPT、撰写分析报告、开发 Web 应用等多项能力,真正做到“一句话,让 Al帮你完成复杂任务”。

更多推荐