---

如何在不影响性能的前提下，在单一边缘平台上同时运行视觉AI、具有检索增强生成（RAG）功能的生成式AI (GenAI) 以及语音识别？

FactoryPulse解决方案展示了如何利用高通Hexagon张量处理器（HTP）加速器，在高通跃龙IQ-9075处理器上高效部署多个AI工作负载，包括视觉AI、具有检索增强生成（RAG）功能的生成式AI以及语音识别。

作为高通技术公司与Qt集团协作开发的成果，该项解决方案重点演示了基于Qt框架的工业应用场景如何充分利用高通跃龙物联网平台，在工厂环境中提供面向实际生成环境的AI解决方案。

‌探索FactoryPulse多AI边缘侧解决方案‌

FactoryPulse是一套可用于运行拥有四条生产线的工厂的完整解决方案。该解决方案演示了在工业自动化环境中常见的五种应用场景：

• 工厂管理：对各项活动进行监督，以确保生产效率、作业安全与生产率。

• 缺陷检测：利用视觉AI检测产品缺陷。

• 人员安全：对防护设备和限制区域进行监控。

• 预测性维护：对设备状态进行监控，提前预测设备故障，并协助进行维护工作。

• 演示模式：展示系统的各种功能特性。

附图1：IAD Complex 01A工厂的数字孪生视图‌ – 图中展示了全部四条生产线，输送机区段根据运行状态进行了颜色代码标注。该方案使用Qt Quick 3D模块完成了这一三维场景的渲染工作。

搭建跃龙IQ-9075边缘侧AI系统‌

FactoryPulse解决方案的硬件设置包括：

• 跃龙IQ-9075 评估套件（EVK）

• 2块触控显示屏

• 2台摄像头

• 1个扬声器与1个麦克风

这种配置展示了一个强大的嵌入式平台如何能够在管理多项AI驱动工作负载的同时，完成二维和三维图形的实时渲染。

‌附图2：FactoryPulse实体设置场景 – 图中包含两块显示屏（分别运行操作员仪表盘与数字孪生界面），一套搭载顶置摄像头的环形光源输送机装置（用于质量检查推理），以及跃龙IQ-9075开发板。

构建面向边缘侧部署的多AI软件堆栈

为在所有这些应用场景中实施AI，该解决方案整合了三个类别的组件：

• 运行时 – 高通智能多媒体SDK（IM SDK），Edge Impulse开发平台，以及多种直接在开发板上运行的AI运行时。

• 生成式AI库 – Genie软件库可针对搭载检索增强生成功能的各种生成式AI模型运行推理。

• 媒体集成 – 高通技术公司与Edge Impulse公司推出的GStreamer插件可支持视觉AI应用场景；Whisper自动语音识别（ASR）可实现语音转文字功能。
• 了解更多内容：高通智能多媒体SDK·面向高通技术公司Edge Impulse平台

▶  今天就通过Qt集团与高通技术公司进行构建：申请获得扩展评估许可

通过操作员仪表盘对AI工作负载进行监控与控制

操作员仪表盘将所有活跃的工作负载整合到单块屏幕上，包括：安全区域监控、生产线生产指标、资源利用率以及缺陷检测摄像头视图。操作员可通过顶部菜单栏切换生产线，启停各个子系统，并进入演示模式或维护模式。

附图3：深色模式下的操作员仪表盘 – 该界面中并排显示了视觉AI缺陷检测、安全区域出入日志、资源利用率趋势，以及生产线实时遥测数据。

附图4：数据采集与监控系统（SCADA）的完整视图以及可移植接口

在边缘侧通过视觉AI检测产品缺陷

该解决方案包括用于检测产品缺陷的各种AI模型：

• Edge Impulse公司的YOLO Pro模型 

• 利用Edge Impulse公司的云服务完成生成

• 通过Edge Impulse公司的GStreamer插件完成部署，以进行推理和叠加

这种配置展示了如何在云端开发工业视觉应用场景，并将其高效部署到高通跃龙边缘侧硬件中。

利用边缘AI实现人员安全实时监测

人员安全监测功能由两个TensorFlow Lite（TFLite）模型提供支持：

• 用于检测防护装备（安全帽与安全背心）的识别模型

• 用于追踪限制区域附近人员活动情况的监测模型

这两种模型利用高通GStreamer插件实现设备端推理加速，从而无需依赖云端处理即可完成实时安全监控。

为实施工厂运营和维护运行搭载检索增强生成功能（RAG）的生成式AI

针对工厂管理与零部件更换场景，该解决方案整合了：

• Meta Llama 3.2指令3B模型

• 利用高通SDK，针对跃龙IQ-9075 Hexagon HTP AI加速器完成编译

检索增强生成（RAG）

• 智源人工智能研究院BGE-large模型根据用户输入生成嵌入向量

• 利用高通SDK完成编译，实现HTP加速

• 文档与嵌入向量存储于Chroma向量数据库（DB）中

通过这种设置，可确保系统能够在边缘侧高效处理自然语言查询，并检索相关信息。

通过自动语音识别（ASR）实现设备端语音识别

为实现语音交互，该解决方案采用：

• OpenAI Whisper小模型

• 高通预优化 AI 模型库 Whisper-Base自动语音识别模型

通过这种配置，可以在设备上直接实施语音转文字功能，从而支持工厂环境范围内的免手动交互操作。

为实现Hexagon HTP加速对AI工作负载进行优化

在该解决方案中使用的所有AI模型 – 用于缺陷检测的Edge Impulse公司YOLO Pro模型、用于人员安全监测的两个TFLite模型、用于生成式AI的Meta Llama 3.2指令3B模型、用于检索增强生成嵌入向量的智源人工智能研究院BGE-large模型，以及用于自动语音识别的OpenAI Whisper小模型 – 均针对Hexagon张量处理器（HTP）加速器进行了优化。这些模型可以在高通跃龙IQ-9075处理器的两个HTP核心上运行，演示了多项AI工作负载如何在单一嵌入式平台上高效执行。

利用Adreno GPU渲染实时二维与三维界面

两块显示屏上的图形用户界面（GUI）均采用声明式Qt建模语言（QML）实现。第一块屏幕上的工厂数字孪生视图、视觉AI的两路实时摄像头画面，以及第二块屏幕上显示的实时指标，均以约60帧每秒（FPS）的速率进行渲染，从而确保界面实时流畅、响应迅速。

通过该架构构建多种AI边缘侧应用场景

FactoryPulse解决方案展示了开发者如何能够完成以下工作：

• 将视觉AI、生成式AI、检索增强生成（RAG）与自动语音识别（ASR）功能整合在一个系统中

• 针对Hexagon HTP加速器完成各种模型的优化

• 利用高通SDK与Edge Impulse平台加快部署进度

• 打造由设备端AI驱动、基于Qt框架的工业应用场景

▶  今天就通过Qt集团与高通技术公司进行构建：申请获得扩展评估许可

准备好开始了吗？

今天就可以进行构建工作：申请获得扩展评估许可，以通过Qt集团与高通技术公司构建您自己的解决方案。

训练与部署：探索面向高通技术公司的Edge Impulse工作流，利用Edge Impulse平台在高通硬件上完成缺陷检测模型的训练、部署与运行。

观看实操演示：查看我们举行的线上研讨会“FactoryPulse：通过Qt集团、高通技术公司和Edge Impulse公司在工业边缘侧完成视觉AI和生成式AI的部署”。

‌亲自动手实践‌：遵照本公司的分步教程《同步实操：利用Qt框架在跃龙处理器上构建更加智能的AI用户界面》

‌探索技术‌：了解有关Qt框架和Qt建模语言的更多内容，以进一步掌握支撑本解决方案的各项技术。

‌即将上线‌：敬请期待我们后续推出的视觉AI、生成式AI结合检索增强生成主题的技术深度解析文章！

---

在所发布内容中表达的观点仅为原作者的个人观点，并不代表高通技术公司或其子公司（以下简称为“高通技术公司”）的观点。所提供的内容仅供参考之用，而并不意味着高通技术公司或任何其他方的赞同或表述。本网站同样可以提供非高通技术公司网站和资源的链接或参考。高通技术公司对于可能通过本网站引用、访问、或链接的任何非高通技术公司网站或第三方资源并没有做出任何类型的任何声明、保证、或其他承诺。

高通品牌产品均为高通技术公司和/或其子公司的产品。