端到端、大模型都和算力无关

文章预览

大会预告 11月19日和21日「Arm Tech Symposia 年度技术大会」将分别于上海、深圳两地举办！大会将基于汽车、物联网等领域，围绕生成式 AI、汽车出行、芯粒、汽车计算系统等话题展开。本次活动还将提供免费午餐 & 参会伴手礼，扫码报名参会👆 目前，全局性的端到端自动驾驶都是基于大语言模型LLM或多模态大模型的。 图片来源：《A Survey for Foundation Models in Autonomous Driving》 这是站在巨人肩上，这种全局性的端到端自动驾驶可以减少95%以上的自动驾驶开发人员，研发成本大幅降低。不过这种设计，对运算芯片的存储带宽要求很高，而算力完全可以忽略不计。 本文主要根据https://www.baseten.co/blog/llm-transformer-inference-guide和https://arxiv.org/pdf/2404.14294之A Survey on Efficient Inference for Large Language Models撰写，大模型或者说LLM的推理延迟95%以上取决于存储带宽，算力 ………………………………