申请收录
【大屏时代】首页 > 3D快报内容详情

月之暗面Kimi联合清华大学等开源共建大模型推理架构Mooncake

2024-11-28 11:26:12 1830 大屏时代
广告：【裸眼3D制作】 让想象突破物理极限，用数字重绘世界经纬。

月之暗面科技有限公司与清华大学MADSys实验室联合发布了一项名为Mooncake的开源项目，旨在共建以KVCache为中心的大模型推理架构。2024年6月，双方曾联合发布Kimi底层的Mooncake推理系统设计方案，该方案基于PD分离和以存换算架构，显著提升了推理吞吐量，受到业界广泛关注。

Mooncake项目从论文延伸而来，以超大规模KVCache缓存池为中心，通过以存换算的创新理念减少算力开销，提升推理吞吐量。项目采用分阶段开源方式，逐步开源高性能KVCache多级缓存Mooncake Store的实现，并针对各类推理引擎和底层存储/传输资源进行兼容。目前，传输引擎Transfer Engine部分已在GitHub全球开源。

6386838867845591564082197.png

月之暗面Kimi工程副总裁许欣然表示，通过与清华大学MADSys实验室的紧密合作，共同打造了分离式大模型推理架构Mooncake，实现了推理资源的极致优化。Mooncake不仅提升了Kimi的用户体验和降低了成本，还为处理长文本和高并发需求提供了有效的解决方案。公司相信，通过与产学研机构的开源合作，可以推动整个行业向更高效的推理平台方向发展，并邀请更多企业和研究机构加入Mooncake项目共建，共同探索更高效和先进的模型推理系统架构创新，让基于大模型技术的AI助手等产品惠及更广泛人群。

相关文章

Kimi发布革命性k1.5多模态思考模型：AI推理再登新高峰，刷新全球SOTA纪录！

AI算命爆火！DeepSeek成“赛博半仙”，Z世代迷上赛博玄学？

字节跳动“5万亿参数”赌局：张一鸣为何对内严禁蒸馏、对外叫板整个AI圈？

亚马逊推出革命性多模态语言模型 Olympus：全新 AI 技术引领未来发展

AI大模型洗牌：人才流动与技术瓶颈引发行业动荡

智谱AI CEO张鹏谈大模型：推动产业智能化升级的新引擎


版权声明：除非特别标注，否则均为本站原创文章，转载时请以链接形式注明文章出处。

相关标签： Mooncake 推理 开源 KVCache Kimi 架构 模型 暗面 MADSys 以存

最新文章

一面屏的征服：中国LED军团如何把世界变成一块发光画布

一面屏的征服：中国LED军团如何把世界变成一块发光画布

<br />过去二十年，电影院是投影技术的最后一块飞地。如今，这块飞地正在被一块块自发光屏幕吞没。三星Onyx、LG Miraclass、利亚德、洲明科技、时代华影的LED电影屏已在中国、美国、欧洲的院线落地超过百块。DCI认证曾被视为不可逾越的门槛，但当亮度、对比度、HDR表现和色彩一致性全面碾压传统放映机后，院线经理们的算盘变得简单：与其每三年更换一次灯泡和光路，不如一次性买一块能用十年的墙。

一块屏的十年赌局：从拼屏到造芯，LED显示正在重写全球产业秩序

一块屏的十年赌局：从拼屏到造芯，LED显示正在重写全球产业秩序

<br />过去一年，全球显示产业最显著的变化，是Micro LED从展会上的概念样机，走入了可议价的采购清单。多家头部厂商把巨量转移良率推至99.99%以上，激光转移与印章转移并行的路线逐渐收敛；与此同时，8英寸、12英寸硅基Micro LED背板产线陆续点亮，AR眼镜与智能手表成为第一批真正上量的应用场景。业内普遍判断，2025至2027年将是Micro LED从可穿戴向车载HUD、再到高端电

LED显示屏的下一战：当像素开始比价格重要

LED显示屏的下一战：当像素开始比价格重要

<br />过去十年，LED显示屏行业最容易被记住的是价格。每平方米报价从数万元一路跌破千元，中国厂商用规模把一块块屏幕铺满了城市主干道、体育场馆和商场中庭。价格战的尽头是利润的稀薄，多数模组厂的毛利率被压到个位数，行业集体开始寻找下一个增长曲线。<br /><br /><br />转折发生在封装环节。COB（Chip on Board）与MiP（Micro LED in Package）两条技术

像素争夺战：LED显示屏冲向微米时代，而价格战已先一步抵达

像素争夺战：LED显示屏冲向微米时代，而价格战已先一步抵达

<br />过去十二个月，全球LED显示产业最密集的动作，发生在肉眼看不见的尺度上。Mini LED背光在电视与笔电市场站稳脚跟之后，产业的赌注正集体押向Micro LED——三星、LG、京东方、利亚德、洲明科技与三安光电几乎在同一时间把路线图推进到微米级芯片与巨量转移。<br /><br />真正决定胜负的并非芯片本身，而是封装与基板。COB（芯片直接封装在板）在近两年迅速从中高端商显向会议一体

科大讯飞发布 Spark-Audio-1.0-Preview：全国产算力训练，覆盖 99 种语言、202 种方言

科大讯飞发布 Spark-Audio-1.0-Preview：全国产算力训练，覆盖 99 种语言、202 种方言

科大讯飞发布语音基座大模型Spark-Audio-1.0-Preview，基于全国产算力训练，降低供应链风险。模型支持文本和语音输入、文本输出，具备语音转写、多语言翻译、多方言识别、环境音识别、说话人识别、情感分析及音频问答等能力。

硅谷科技巨头安保人员计划罢工：谷歌、OpenAI、Anthropic 等办公室或受影响

硅谷科技巨头安保人员计划罢工：谷歌、OpenAI、Anthropic 等办公室或受影响

据《商业内幕》报道，为OpenAI、谷歌、Anthropic等科技公司加州办公室提供安保的员工计划本周罢工。他们已于15日提交72小时罢工通知，自18日凌晨4:30起拒绝接班。工会SEIU-USWW称，涉事企业还包括亚马逊、微软、Salesforce、Meta、英伟达等，或影响多家科技巨头办公场所安保。

千问 Qwen3.8-27B 登顶 Hugging Face，成该平台史上最受欢迎开源模型

千问 Qwen3.8-27B 登顶 Hugging Face，成该平台史上最受欢迎开源模型

9月16日，阿里千问Qwen3.8-27B在Hugging Face最受欢迎开源大模型榜单登顶，超越FLUX.1、DeepSeek-R1、Kimi-K3、Meta-Llama-3等。该榜以开发者点赞为评选口径，反映真实偏好，而非跑分或参数规模，成社区史上最受欢迎开源模型。

讯飞星火语音基座大模型上线：0.65B 编码器配 30B MoE，纯国产算力训练

讯飞星火语音基座大模型上线：0.65B 编码器配 30B MoE，纯国产算力训练

科大讯飞上线语音基座大模型Spark-Audio-1.0-Preview，基于全国产化算力训练。传统音频处理多采用级联方案，先转文字再理解，存在信息丢失（忽略语气、情绪、背景环境音）和链路割裂（语音转写、声纹识别等环节分离）两大短板，影响场景判断完整性。

AI智能体手机进入量产商用阶段:努比亚NaviX Ultra正式开售 搭载豆包手机助手

AI智能体手机进入量产商用阶段:努比亚NaviX Ultra正式开售 搭载豆包手机助手

努比亚NaviX Ultra上市，搭载豆包手机助手消费者版，标志AI智能体手机进入规模化量产商用。主打“听得懂、能干活、记得住、够安全”，支持一键唤醒、连续语音、复杂任务自主执行、个人记忆。配指纹AI按键，通话接入Seed全双工语音大模型，可随时打断、连续对话，支持闽南语、客家话等方言。

Cloudflare 上线新设置：允许搜索引擎爬取，同时拒绝 AI 训练

Cloudflare 上线新设置：允许搜索引擎爬取，同时拒绝 AI 训练

Cloudflare推出“Disallow AI Training”设置，允许网站继续被搜索引擎收录，同时拒绝内容用于AI训练。苹果、谷歌、微软已承诺遵守。启用后，标记为“可问责”的搜索/AI混合爬虫仍可抓取，其他AI训练爬虫被拦截，但可能影响搜索排名。

Anthropic 签下澳大利亚首份数据中心协议：锁定 2.16 吉瓦容量，2027 年投运

Anthropic 签下澳大利亚首份数据中心协议：锁定 2.16 吉瓦容量，2027 年投运

Anthropic签署澳大利亚首份数据中心租赁协议，锁定2.16吉瓦容量，计划2027年投运，选址距布里斯班约250公里的农田。继OpenAI后，其成为又一家布局大洋洲的AI巨头，看重当地电力与土地，并借此分散训练与推理的算力版图。

DeepSeek V4.1Flash助力《生化危机7》安卓模拟运行，帧率提升50%

DeepSeek V4.1Flash助力《生化危机7》安卓模拟运行，帧率提升50%

网友借助DeepSeek V4.1 Flash模型与Hermes Agent工具，对《生化危机7》纹理进行AI调优，使一加12R（骁龙8Gen2）帧率从约20FPS升至30FPS，提升50%。AI通过USB连接Mac监控性能，指出I/O和内存带宽为瓶颈，并建议压缩纹理分辨率。

vivo 正式发布智能体大模型矩阵，并重磅预研 30B MoE 端侧大模型

vivo 正式发布智能体大模型矩阵，并重磅预研 30B MoE 端侧大模型

vivo发布智能体大模型矩阵，涵盖语音、端侧、云侧等四款核心模型，全面赋能终端智能化体验。同时预研蓝心30B MoE端侧大模型，探索万亿级能力落地手机，提升多模态理解、长链推理与复杂任务自主执行，并同步推进软件与系统生态建设。

Claude 发布重大升级：43 项全能工作流与 27 个巨头应用深度打通

Claude 发布重大升级：43 项全能工作流与 27 个巨头应用深度打通

Anthropic于2026年9月15日升级中小企业版Claude，新增43项高效工作流及27个主流商业软件深度集成，推动AI从后台辅助转为核心业务驱动力。今年5月曾首推智能连接器与预置工作流，此次升级进一步扩展生态，助力中小企业增长。

生数科技正式发布 Vidu S2，支持实时编辑、动态参考图与头显适配

生数科技正式发布 Vidu S2，支持实时编辑、动态参考图与头显适配

生数科技9月15日发布Vidu S2视频大模型系列，含两个核心模型：Vidu S2-Avatar用于持续交互数字角色生成，Vidu S2-Editing用于输入视频流实时编辑。此外还探索VR头显实时空间视频生成与编辑。全链路研发由朱军教授博士生、流式视频生成与推理负责人张金涛负责。

谷歌发布多语言 AI 新战略，让全球每种语言都能被听见与理解

谷歌发布多语言 AI 新战略，让全球每种语言都能被听见与理解

谷歌发布全球语言智能新成果：AI支持超300种语言，覆盖71亿人口、86%比例。谷歌称语言大模型不应只做文本翻译，还需理解语气、情感与文化细微差别；同时指出传统语音识别多步刚性管线存在局限。

LED显示屏产业变局：从价格战泥潭到Micro LED竞速，谁在定义下一代显示话语权？

LED显示屏产业变局：从价格战泥潭到Micro LED竞速，谁在定义下一代显示话语权？

<br />过去三年，LED显示屏行业经历了残酷的产能出清。利亚德、洲明科技、强力巨彩等头部企业财报显示，传统小间距产品毛利率已从巅峰期的35%以上滑落至不足20%。价格战没有赢家——2023年国内LED显示屏市场规模同比仅增长4.7%，但出货面积增长了18%，量增价跌的剪刀差暴露了行业深层的结构性焦虑。转折出现在2024年下半年，多家头部厂商主动收缩低毛利订单，将资源向Micro LED、COB

脉脉报告：今年 1—7 月新发 AI 岗位平均月薪 63160 元，岗位量增近 8 倍

脉脉报告：今年 1—7 月新发 AI 岗位平均月薪 63160 元，岗位量增近 8 倍

脉脉高聘报告显示，2026年1—7月新经济行业新发AI岗位量同比增长789.47%，平均月薪63160元，同比上涨2.74%。技术类中FDE/现场部署工程师扩招增1522.73%居首；非技术类中AI产品经理增120.54%居首。

估值冲击1.2万亿美元！OpenAI密谈新一轮融资

估值冲击1.2万亿美元！OpenAI密谈新一轮融资

OpenAI正就新一轮私募融资与投资者初步洽谈，目标估值高达1.2万亿美元。此次融资背景是GPT-5.6、Astra等新模型发布，推动营收加速增长。今年3月其刚完成1220亿美元融资，投后估值8520亿美元，新目标估值较此前大幅跃升。目前谈判仍处早期阶段。

GPT-6 Sol 与 Opus 5.2 悄然开启灰度测试

GPT-6 Sol 与 Opus 5.2 悄然开启灰度测试

尽管两大AI巨头掌门人刚呼吁为技术狂飙“踩刹车”，OpenAI与Anthropic本周却悄然灰度测试下一代旗舰模型，被指“光速打脸”。OpenAI测试GPT-6Sol，Anthropic跳过5.1直接推新，行业竞争未减速。

豆包大模型 2.1 Pro 0915 版本重磅发布：Agent 交付更稳、多模态 Coding 全面进化

豆包大模型 2.1 Pro 0915 版本重磅发布：Agent 交付更稳、多模态 Coding 全面进化

9月16日，火山引擎宣布豆包大模型2.1Pro升级至0915版本，API全量上线火山方舟；豆包客户端同步更新，用户可选新版体验。TRAE已接入，Doubao-Seed-Evolving也升级同版本，企业无需更换API接口。

消息称 OpenAI 拟以超 1.2 万亿美元估值启动新一轮融资

消息称 OpenAI 拟以超 1.2 万亿美元估值启动新一轮融资

据外媒报道，OpenAI正就新一轮融资与投资者初步谈判，估值或达1.2万亿美元（约8.07万亿元人民币）。本轮由投资者发起，能否成行及时间取决于其上市规划，估值仍可能变动。此前3月，该公司以8250亿美元估值筹资1220亿美元。

LED显示屏的“第二增长曲线”：当像素间距逼近物理极限，中国厂商开始卖场景

LED显示屏的“第二增长曲线”：当像素间距逼近物理极限，中国厂商开始卖场景

<br />过去十年，LED显示屏的核心叙事很简单：把像素间距做小。P10、P4、P1.9、P0.9，每一次数字下探，都伴随着价格曲线与工艺难度的同步陡峭。但当间距逼近0.4毫米，芯片尺寸、焊盘精度、驱动IC密度的物理极限开始显形，行业的竞争焦点第一次从参数表转向结构本身。<br /><br />多家产业链公司近期释放的信号高度一致：微间距市场的订单结构正在变化，客户不再只问点间距是多少，而是问这

豆包2.1Pro0915上线火山方舟，飞书8.0引入团队智能体“豆包工作伙伴”

豆包2.1Pro0915上线火山方舟，飞书8.0引入团队智能体“豆包工作伙伴”

近日，字节系企业生产力产品密集更新：火山引擎将豆包大模型Doubao-Seed-2.1-pro升级至0915版，API全量上线火山方舟，并同步在豆包工作可用；飞书发布8.0，推出团队智能体“豆包工作伙伴”，将AI从个人助手拓展至群聊、文档、会议及业务流程。新模型聚焦“生产级交付”，强化Agent任务证据溯源等能力。

最新网站

Jasper AI竞品份额分析

Jasper AI竞品份额分析

<br />竞品A（Jasper AI）近三个月市场份额由约14.6%降至9.8%，累计下滑4.8个百分点，呈"高位急跌—中段缓跌—低位盘整"的三段式走势。判断：短期难以逆转下滑，但已接近其付费专业用户的基本盘底部。<br /><br /><br />第一月：14.6%降至11.9%，环比-2.7pct，主因企业客户集中续约流失；第二月：11.9%降至10.4%，环比-1.5pct，降幅明显收窄；
LocalBanana

LocalBanana

LocalBanana是专注于 AI 图像 Prompt 收集与结构化的平台，帮助用户深入理解并高效利用 Prompt，提升创作能力。围绕 Nano Banana（Gemini）生态，将散落在各处的优质 Prompt 整理为可检索、可编辑的创作资产。
智策AI导航平台

智策AI导航平台

<br />智策AI导航（www.zhiceai.com）是一个专注于人工智能工具发现与评测的综合性导航网站。平台收录了全球超过5000个AI应用，覆盖自然语言处理、图像生成、视频制作、智能办公、教育培训、编程开发、数据分析、营销文案等20多个主流分类。站长、产品经理、设计师、学生及自由职业者都可以在这里快速找到适合自己工作流的AI工具，并获取实时更新的功能评测和优惠信息。<br /><br />
文心一言AI平台分析

文心一言AI平台分析

<br />文心一言是百度推出的新一代知识增强大语言模型，基于飞桨深度学习平台和文心知识增强技术，能够与人对话互动、回答问题、协助创作，高效便捷地帮助人们获取信息、知识和灵感。作为国内领先的AI对话产品，文心一言自发布以来持续迭代，已广泛应用于多个行业场景，成为百度AI技术战略的核心载体之一。<br /><br /><br />文心一言提供多种实用功能，包括智能问答、文本创作、代码生成、逻辑推理、
AI大百科

AI大百科

<br />AI大百科是一个专注于人工智能知识普及和工具推荐的综合性网站，旨在为AI爱好者、开发者、产品经理与企业决策者提供一站式信息入口。平台自2021年上线以来，已收录超过5000个AI工具与模型，涵盖自然语言处理、计算机视觉、语音识别、生成式AI、AI绘画、AI视频、AI办公等多个细分领域。网站以简洁的界面和清晰的分类著称，用户可以通过搜索或浏览标签快速找到所需资源，并查看每个工具的功能介绍
通义千问：阿里AI助手

通义千问：阿里AI助手

<br />通义千问是阿里巴巴集团推出的AI大模型产品，由阿里云开发并托管。它于2023年首次亮相，定位为面向中文用户的多功能智能助手，支持文本生成、代码编写、文档分析、多轮对话等任务。网站界面简洁，用户可以直接在浏览器中体验，无需下载应用，同时也提供API接口供开发者集成。<br /><br /><br />通义千问的主要功能包括：知识问答、创意写作、翻译润色、编程辅助、数据分析、学习辅导等。它
AI工具集导航

AI工具集导航

<br />AI工具集是一个专注于收录和推荐人工智能相关工具与资源的导航网站。它汇集了全球范围内数百款AI产品，覆盖文本生成、图像创作、音频处理、视频制作、编程助手、办公效率等多个领域。无论你是普通用户、开发者还是企业决策者，都能在这里快速找到适合自己的AI工具。<br /><br /><br />AI工具集的核心功能是分类展示和搜索。网站按照工具的应用场景进行细致分类，例如AI写作、AI绘画、A
Hugging Face AI平台

Hugging Face AI平台

<br />Hugging Face是一个致力于人工智能和自然语言处理的开源平台，提供海量预训练模型、数据集和工具，帮助开发者和企业快速构建、训练和部署AI应用。其核心产品包括Transformers库、Hub模型仓库、Spaces应用托管以及Inference API等，覆盖从研究到生产的全流程。<br /><br /><br />该平台以模型Hub为中心，支持TensorFlow、PyTorc
DeepMind AI研究平台

DeepMind AI研究平台

<br />DeepMind是一家位于英国伦敦的人工智能公司，成立于2010年，2014年被谷歌收购。作为全球领先的AI研究机构，DeepMind致力于开发通用人工智能（AGI），其研究成果在游戏、医疗、科学等多个领域产生了深远影响。DeepMind的使命是“解决智能问题”，通过将神经科学与机器学习相结合，推动AI技术的边界。<br /><br /><br />DeepMind最著名的成就是Alp
智谱AI官网

智谱AI官网

<br />智谱AI（北京智谱华章科技有限公司）是一家专注于人工智能大模型研发与应用的科技公司，成立于2019年，由清华大学计算机系知识工程实验室技术成果转化而来。公司以“让机器像人一样思考”为愿景，致力于打造安全、可控、可解释的通用人工智能系统。智谱AI在自然语言处理、知识图谱、多模态理解等领域拥有深厚积累，其核心产品GLM系列大模型已广泛应用于政务、金融、医疗、教育等多个行业。<br /><b
Midjourney

Midjourney

<br />Midjourney是一款基于人工智能的图像生成工具，由独立研究实验室Midjourney, Inc.开发。用户只需输入文字描述，即可生成高质量、富有创意的图片。自2022年公开测试以来，它迅速成为AI绘画领域的标杆产品，广泛应用于艺术创作、设计、广告和娱乐等行业。<br /><br /><br />Midjourney的核心功能是文本到图像生成，支持多种风格和参数调节。用户可以通过D
量子位AI网站分析

量子位AI网站分析

<br />量子位（QbitAI）是一家专注于人工智能领域的前沿科技媒体，成立于2017年，总部位于北京。网站以报道AI行业动态、技术突破、产业应用和创业公司为核心，内容涵盖机器学习、深度学习、自然语言处理、计算机视觉、AI芯片、自动驾驶等多个细分领域。量子位通过图文、视频、线下活动等形式，向技术从业者、投资者和科技爱好者传递高质量的AI资讯与深度分析。<br /><br /><br />量子位的
DeepMind官网

DeepMind官网

<br />DeepMind是谷歌母公司Alphabet旗下的人工智能研究实验室，成立于2010年，总部位于伦敦。该网站是DeepMind的官方门户，集中展示了其在AI领域的前沿研究成果、技术博客、学术论文以及研究人员团队。作为全球顶尖的AI研究机构之一，DeepMind致力于“解决智能问题”，并推动AI技术在社会各领域的应用。<br /><br /><br />DeepMind最广为人知的成就是
豆包AI官方网站

豆包AI官方网站

<br />豆包AI是字节跳动公司推出的一款人工智能助手，基于先进的大语言模型技术，为用户提供智能问答、文本创作、代码辅助、情感陪伴等多种服务。自发布以来，豆包AI凭借其自然流畅的交互体验和强大的理解能力，迅速成为国内最受欢迎的AI应用之一。用户可以通过网页端或移动端随时随地使用豆包，满足工作、学习和生活中的多样化需求。<br /><br /><br />豆包AI的核心功能主要包括智能对话、内容创
Toolify AI工具导航网站

Toolify AI工具导航网站

<br />Toolify AI是一个专注于人工智能工具聚合与推荐的导航网站，目前收录了全球超过5000款AI应用，涵盖文本生成、图像处理、视频创作、音频编辑、代码辅助、数据分析等多个领域。无论是普通用户还是专业开发者，都能在这里快速找到适合自己的AI工具。平台每天更新最新上线的AI产品，并基于用户真实反馈进行排序和分类，帮助用户节省大量搜索和筛选的时间。<br /><br /><br />Too
ChatGPT官网介绍

ChatGPT官网介绍

<br />ChatGPT是OpenAI开发的人工智能聊天机器人平台，于2022年11月30日首次发布。作为目前全球用户量最大的AI对话产品，ChatGPT基于GPT系列大语言模型，支持自然语言问答、文本生成、代码编写、翻译、摘要、创意写作等多样化任务。其官方网站不仅提供免费的Web端服务，还集成了付费订阅、API访问、插件生态和联网搜索功能，成为个人用户与企业用户接触前沿AI能力的重要入口。<b

Copyright © 2016 ~ 2024 大屏时代 (www.dapingtime.com) 联系QQ：88251776苏ICP备2020058979号-3 大屏头条