月之暗面Kimi系统底层的服务架构揭秘↓Mooncake 是月之-20240706114927

黄建同学 · 微博 · AI · 2024-07-06 11:49

文章预览

2024-07-06 11:49 本条微博链接月之暗面Kimi系统底层的服务架构揭秘↓ Mooncake 是月之暗面Kimi AI的服务平台，以 KVCache 为中心的LLM 服务架构↓ #程序员# #ai# 该项目为Mooncake的技术报告，并持续跟踪其开源代码：github.com/kvcache-ai/Mooncake 还有对应的论文：arxiv.org/abs/2407.00079 Mooncake 采用以 KVCache 为中心的解耦架构，将预填充集群与解码集群分离，并充分利用 GPU 集群中未充分利用的 CPU、DRAM 和 SSD 资源，实现 KVCache 的解耦缓存。 Mo ………………………………

原文地址：访问原文地址
快照地址：访问文章快照
总结与预览地址：访问总结与预览

分享到微博

推荐文章

人工智能那点事 · 百度地图把广告“焊死”在导航路面上？网友：关不掉，影响行车安全！各方回应

13 小时前

量子位 · 鹅厂开源视频生成大杀器！参考图主体精准复刻，还能编辑现有视频

昨天

AI范儿 · 扎克伯格：你的大多数朋友将是 AI

昨天

AI范儿 · 扎克伯格：你的大多数朋友将是 AI

昨天

爱可可-爱生活 · 【[133星]Reddit AI Trends：通过自动化Red-20250508211603

2 天前

爱可可-爱生活 · 【[69星]Agentica-project/verl-pipe-20250508201252

2 天前

Dots机构投资者社区 · 台积电历史新高，这次催化剂是什么？

9 月前

iOS限免软件大全 · 2024.8.1 苹果App Store今日iOS限免应用推荐

9 月前

中国新闻周刊 · 雷军的洗衣机，鸡肋的“机”？

5 月前

奔流新闻 · 2025年兰州中考招生方案发布：4月下旬网上报名，设7个批次18个志愿

3 周前