微信自研高性能推理计算引擎 XNet-DNN：跨平台 GPU 部署大语言模型及优化实践

文章预览

作者：yannic XNet-DNN 是微信高性能计算团队自主研发的一款全平台神经网络推理引擎。我们在 XNet 的 RCI 基础设施之上构建了全平台的 GPU LLM 推理能力。 目前能够在： Apple/NVIDIA/AMD/Intel/Qualcomm/MTK/Huawei 等主流硬件厂商的 GPU 上实现非常优秀的推理性能，能够支持在 Windows/Linux/MacOS/ios/Android/HarmonyOS 等操作系统上部署。 本文深入解析该引擎的核心技术架构，以及在异构计算环境下的性能优化策略。通过与主流 LLM 推理框架(llama.cpp, 英伟达 TRT-LLM，苹果 MLX-LM 等)全面比较，XNet-DNN 在推理效率、内存占用以及包体大小等关键性能指标上均显著超越现有解决方案。 1. GPU 的跨平台统一：XNet-DNN 高效推理实践 大模型技术的规模化应用正呈现爆发式增长态势，持续驱动人工智能技术体系革新。在此背景下，XNet-DNN 推理引擎基于自主研发的 RCI（Render and Compute Interface） ………………………………