1. 前言

当你为Coze平台插件调用付费时,是否想过:那些看似神秘的插件开发,实则只需一杯咖啡的时间就能自主实现?本文将颠覆您对AI插件开发的认知——无需机器学习背景,不必研究复杂算法,以阿里云百炼大模型为基座,带你用5分钟完成一个专业级图像识别插件的开发全流程。

在接下来的实战中,你将亲历从模型选型、代码编写到服务部署的完整闭环。即使你是首次接触大模型开发的工程师,也能轻松完成Coze插件开发。文末更附赠提示词工程秘籍,助你突破大模型应用效果天花板。

当你成功部署第一个自研插件时,或许会惊叹:原来插件开发 so easy~。

2. 基于阿里云百炼大模型编写图像识别插件实战

2.1. 寻找合适的大模型

在进行图像识别插件的开发前,第一步是选择适合的基础模型。在阿里云百炼模型广场中(访问模型广场),可以找到各种类型的大模型,这些模型根据不同的任务需求分类,包括图像理解、文本生成、语音识别等。对于本次任务,我选择了支持图像内容理解的 qwen-vl-plus 模型。

点击 API参考 按钮,进入模型的使用文档页面。这份文档详细描述了如何调用模型,包括所需的参数信息以及具体的调用格式:

  • model 参数:指定要调用的模型名称(这里是 qwen-vl-plus)。
  • messages 参数:用于传递消息列表,包含与模型交互的历史对话记录。
  • User Message:表示用户发送给模型的具体消息内容,包括文本和图像的URL。

2.2. Coze新建插件

为了将模型功能封装为一个易用的插件,我们需要在 Coze 平台上新建插件,选择任意空间(可以是个人空间或者你自己任意新建的),点击新建插件:

创建完插件以后还需要创建工具,这里可以写成一样(插件和工具的关系,你可以理解为工具是插件的子集):

2.3. 编写插件代码

完成工具构建后,我们就可以进行插件代码编写了:

代码详情:

import os
from openai import OpenAI
from typing import TypedDict
import json  # 添加导入json模块

class Input(TypedDict):
    api_key: str
    image_url: str

class Output(TypedDict):
    text: str
    error_message: str

def handler(args) -> Output:
    try:
        # 从输入参数中获取 API 密钥和图像 URL
        api_key = args.input.api_key
        image_url = args.input.image_url

        # 创建 OpenAI 客户端实例
        client = OpenAI(
            api_key=api_key,  # 使用传入的 API 密钥
            base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",  # 指定 Base URL
        )

        # 调用 qwen-vl-plus 模型进行图像识别
        completion = client.chat.completions.create(
            model="qwen-vl-plus",  # 模型名称
            messages=[{
                "role": "user",
                "content": [
                    {"type": "text", "text": "这是什么"},  # 提问,问图像内容
                    {"type": "image_url", "image_url": {"url": image_url}}  # 传入图像 URL
                ]
            }]
        )

        # 打印返回的内容,检查其结构
        result = completion.model_dump_json()
        print("Model response:", result)

        # 将返回的字符串转换为字典
        result_dict = json.loads(result)

        # 获取 content 内容
        text = result_dict.get("choices", [{}])[0].get("message", {}).get("content", "无法获取识别结果")

        return {"content": text}

    except Exception as e:
        return {"error_message": str(e)}  # 如果发生错误,返回错误信息

上述代码调用了阿里云百炼平台的 qwen-vl-plus 模型,识别传入图片的内容,并返回识别到的文字说明。总的来说做了以下几件事:

  1. 从输入参数中提取 API 密钥和图像 URL;
  2. 使用这些参数创建 OpenAI 客户端,指定使用阿里云的兼容 API 地址;
  3. 调用 qwen-vl-plus 图像识别模型,请求包含一段文本“这是什么”和用户提供的图像;
  4. 将模型返回的 JSON 字符串解析成 Python 字典;
  5. 从返回结果中提取模型的回答内容(即 message.content)作为识别文本;
  6. 如果一切正常,返回识别出的内容;如发生错误,则返回错误信息。

2.4. 元数据设置

编写完代码需要设置一下元数据信息(输入的参数信息):

设置完元数据,在测试代码中输入测试数据就能进行插件测试了:

2.5. 插件发布

当我们测试了插件没问题后就能对插件进行发布了,点击右上角发布按钮就能对插件进行发布操作,发布后的插件可以在本空间内使用:

如果要让别人可以使用你的插件,可以在插件商店上架你的插件,操作很简单,就不演示了:

3. 资料领取

你觉得大模型不好用,可能是你不会写提示词,小肥肠为你准备了海量提示词模板和DeepSeek相关教程,只需关注gzh后端小肥肠,点击底部【资源】菜单即可领取。

4. 结语

通过本文的实战演示,相信你已经感受到:插件开发并非高不可攀,借助阿里云百炼大模型和Coze平台,即使零基础也能快速上手,开发出高质量的图像识别插件。掌握这一技能,不仅能够节省昂贵的API调用成本,更是迈向AI原生应用开发的重要一步。
现在,轮到你亲自实践了。放下犹豫,打开Coze,写下你的第一行代码,属于你的AI插件时代,从此刻启航!

 这份《AI产品经理学习资料包》已经上传CSDN,还有完整版的大模型 AI 学习资料,朋友们如果需要可以在文末CSDN官方认证二维码免费领取【保证100%免费】
资料包: CSDN大礼包:《对标阿里黑客&网络安全入门&进阶学习资源包》免费分享


AI产品经理,0基础小白入门指南
作为一个零基础小白,如何做到真正的入局AI产品?

什么才叫真正的入局?

是否懂 AI、是否懂产品经理,是否具备利用大模型去开发应用能力,是否能够对大模型进行调优,将会是决定自己职业前景的重要参数。

你是否遇到这些问题:
1、传统产品经理

不懂Al无法对AI产品做出判断,和技术沟通丧失话语权
不了解 AI产品经理的工作流程、重点
2、互联网业务负责人/运营
对AI焦虑,又不知道怎么落地到业务中想做定制化AI产品并落地创收缺乏实战指导
3、大学生/小白
就业难,不懂技术不知如何从事AI产品经理想要进入AI赛道,缺乏职业发展规划,感觉遥不可及
为了帮助开发者打破壁垒,快速了解AI产品经理核心技术原理,学习相关AI产品经理,及大模型技术。从原理出发真正入局AI产品经理。

这里整理了一些AI产品经理学习资料包给大家
📖AI产品经理经典面试八股文
📖大模型RAG经验面试题
📖大模型LLMS面试宝典
📖大模型典型示范应用案例集99个
📖AI产品经理入门书籍
📖生成式AI商业落地白皮书

🔥作为AI产品经理,不仅要懂行业发展方向,也要懂AI技术,可以帮助大家:
✅深入了解大语言模型商业应用,快速掌握AI产品技能
✅掌握AI算法原理与未来趋势,提升多模态AI领域工作能力
✅实战案例与技巧分享,避免产品开发弯路

这份《AI产品经理学习资料包》已经上传CSDN,还有完整版的大模型 AI 学习资料,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
资料包: CSDN大礼包:《对标阿里黑客&网络安全入门&进阶学习资源包》免费分享

AI大模型学习福利
作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

大模型&AI产品经理如何学习
求大家的点赞和收藏,我花2万买的大模型学习资料免费共享给你们,来看看有哪些东西。

1.学习路线图


第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;

第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;

第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;

第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;

第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;

第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;

第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。

2.视频教程
网上虽然也有很多的学习资源,但基本上都残缺不全的,这是我自己整理的大模型视频教程,上面路线图的每一个知识点,我都有配套的视频讲解。

(都打包成一块的了,不能一一展开,总共300多集)

因篇幅有限,仅展示部分资料,需要点击CSDN大礼包:《对标阿里黑客&网络安全入门&进阶学习资源包》免费分享前往获取

3.技术文档和电子书
这里主要整理了大模型相关PDF书籍、行业报告、文档,有几百本,都是目前行业最新的。


4.LLM面试题和面经合集
这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。


👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。


1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式:
😝有需要的小伙伴,可以CSDN大礼包:《对标阿里黑客&网络安全入门&进阶学习资源包》免费分享免费领取【保证100%免费】🆓

Logo

GitCode 天启AI是一款由 GitCode 团队打造的智能助手,基于先进的LLM(大语言模型)与多智能体 Agent 技术构建,致力于为用户提供高效、智能、多模态的创作与开发支持。它不仅支持自然语言对话,还具备处理文件、生成 PPT、撰写分析报告、开发 Web 应用等多项能力,真正做到“一句话,让 Al帮你完成复杂任务”。

更多推荐