CFAR，科学技术与研究机构（A*Star）&香港科学技术大学：ExpertFlow：优化专家激活和令牌分配以实现高效的专家混合推理
🎯 推荐指数：🌟🌟🌟
📖 title：ExpertFlow: Optimized Expert Activation and Token Allocation for Efficient Mixture-of-Experts Inference
🔥 code：https://github.com/MLAI-Yonsei/ExceptionalBenchmark
🌟 概述：ExpertFlow 是一个新颖的系统，通过实施预测路由、动态专家调度和先进的缓存策略，提高了混合专家模型的推理效率，实现了高达 93.72% 的 GPU 内存节省，并在资源受限的环境中显著加快了推理速度。

🔍 解决的问题：

本文旨在解决与混合专家（MoE）模型部署相关的几个关键问题，特别是在大型语言模型（LLM）的背景下。所解决的问题可以归类如下：

1. 任务目标

   • 混合专家推理：本文的主要关注点是提高稀疏混合专家模型的推理效率。这些模型在各种任务中表现出色，通常优于密集型LLM，但在部署过程中面临重大挑战，尤其是在资源受限的环境中。

2. 当前困难与挑战

   • 高内存需求：MoE模型通常需要大量的GPU内存，这在资源有限的环境中构成了挑战。本文强调，传统的卸载方法在CPU和GPU之间的专家分配管理不当，导致效率低下。
   • I/O瓶颈：本文指出，I/O瓶颈是MoE推理过程中的一个重大问题。由于输入令牌数量庞大，多个专家的激活可能导致CPU和GPU之间频繁的数据传输，从而导致高延迟和系统性能下降。
   • 专家利用效率低下：现有的专家路由和令牌分配方法往往导致专家之间的令牌分配不均，造成某些专家被低效利用，而其他专家则过载。这种不平衡导致计算资源浪费和推理时间延长。

3. 研究动机

   • 优化资源管理：本研究的动机在于开发一种全面的解决方案，以优化内存使用并加速MoE模型的推理。通过解决专家路由、缓存和令牌调度的挑战，本文旨在使先进的人工智能模型在实际应用中更加可及和实用。
   • 提升推理速度：本研究旨在显著提高推理速度，与传统方法相比提升2到10倍，从而在各种应用中实现更高效的MoE模型部署，特别是在GPU资源有限的情况下。
   • 改善缓存效率：本文旨在通过预测路由和动态专家调度来提高缓存命中率，最小化昂贵的I/O操作，最终实现更好的整体系统性能。

👉文章方法：

本文提出了几种方法，以提高混合专家（MoE）模型的推理效率。以下是关键方法及其详细描述：

1. 路由路径预测器（RPP）：

   • 描述：路由路径预测器是一个基于变换器的模型，旨在预测推理过程中将被激活的专家。它通过将预测过程框架化为分类任务来简化预测流程，从而允许一次性确定每个专家的状态（激活或闲置）。这种主动调度实现了高效的资源管理，并减少了与专家激活相关的开销。

2. 专家缓存引擎（ECE）：

   • 描述：专家缓存引擎实施了一种预测局部性感知的专家缓存（PLEC）策略。该方法基于预测的路由路径，预判专家使用模式，从而实现专家的高效预取到缓存中。通过优先考虑专家的局部性，ECE在计算过程中最小化了I/O干扰，并显著提高了缓存命中率，相较于传统的缓存方法如最近最少使用（LRU）。

3. 令牌调度器（TS）：

   • 描述：令牌调度器将具有相似路由路径的令牌分组到同一批次中，有效减少了每批次所需激活的专家数量。这种战略性的重新分批提高了缓存利用率，并最大化了每个专家处理的令牌数量，从而在各种数据集上显著提高了推理速度。

这些方法共同解决了MoE模型中高内存需求和低效专家利用的问题，从而实现了显著的GPU内存节省和推理速度提升。

每日Paper内容分享：关注小红书《AI届吗喽》