月之暗面科技有限公司与清华大学MADSys实验室联合发布了一项名为Mooncake的开源项目，旨在共建以KVCache为中心的大模型推理架构。2024年6月，双方曾联合发布Kimi底层的Mooncake推理系统设计方案，该方案基于PD分离和以存换算架构，显著提升了推理吞吐量，受到业界广泛关注。
Mooncake项目从论文延伸而来，以超大规模KVCache缓存池为中心，通过以存换算的创新理念减少算力开销，提升推理吞吐量。项目采用分阶段开源方式，逐步开源高性能KVCache多级缓存Mooncake Store的实现，并针对各类推理引擎和底层存储/传输资源进行兼容。目前，传输引擎Transfer Engine部分已在GitHub全球开源。
月之暗面Kimi工程副总裁许欣然表示，通过与清华大学MADSys实验室的紧密合作，共同打造了分离式大模型推理架构Mooncake，实现了推理资源的极致优化。Mooncake不仅提升了Kimi的用户体验和降低了成本，还为处理长文本和高并发需求提供了有效的解决方案。公司相信，通过与产学研机构的开源合作，可以推动整个行业向更高效的推理平台方向发展，并邀请更多企业和研究机构加入Mooncake项目共建，共同探索更高效和先进的模型推理系统架构创新，让基于大模型技术的AI助手等产品惠及更广泛人群。
相关推荐
近年来，随着文化和旅游行业的快速发展，沉浸式体验成为了旅游的新潮流。尤其是结合了“剧本杀”玩法的景区沉浸式项目，逐渐成为游客的新宠。那么，景区中的沉浸式“剧本杀”到底是什么？它又是如何把游客带入到独特的剧情世界中的呢？让我们一探究竟。什么是沉浸式“剧本杀”？沉浸式“剧本杀”是一种结合了角色扮演、推理和情节互动的娱乐形式，通常由一群玩家共同参与。在这种游戏中，玩家会根据事先设定的剧情与角色扮演任务进...
硅谷讯——人工智能巨头OpenAI近日发布了其全新的高端订阅服务ChatGPT Pro，引发业内高度关注。此次更新标志着OpenAI在人工智能推理能力和人机交互领域的又一次重大突破。ChatGPT Pro：高端AI体验的新里程碑ChatGPT Pro订阅月费200美元，旨在为研究人员、企业用户及开发者提供更高级的人工智能工具。Pro用户可无限制地使用OpenAI旗下最先进的模型，包括新推出的推理模...
随着2024年接近尾声，全球人工智能领域迎来了年末的“狂欢”。多家科技巨头纷纷发布重磅产品和技术，展现了AI技术的飞速发展和未来趋势。从OpenAI到谷歌、Meta，再到李飞飞教授所领导的团队，AI技术正以更强的创新力和应用广度，不断刷新我们对未来的认知。OpenAI：大模型技术的突破性进展OpenAI作为当前人工智能领域的领军者之一，在年末发布了其最新的大模型产品—GPT-5。这个新版本不仅在生...
2024年12月16日，清华系AI基础设施创业公司无问芯穹（Infinigence）宣布正式开源其端侧全模态理解小模型 Megrez-3B-Omni，并同步发布其纯语言版本 Megrez-3B-Instruct。此次开源的Megrez-3B-Omni具有强大的图片、音频和文本三种模态数据处理能力，成为端侧智能设备的一项重要技术突破。Megrez-3B-Omni：为端侧设备量身定制的全模态理解模型M...
2024年12月18日，智源研究院与腾讯集团正式签署战略合作协议，标志着双方在人工智能领域的深度合作进入新的阶段。此次合作，双方将携手推进大模型研发、AI技术的前沿探索以及开源生态建设等多个方向，推动AI技术在产业场景中的深度应用与落地。这一合作不仅为两家公司带来了技术创新的新机遇，也为中国乃至全球的人工智能发展注入了强大的动力。1. 战略合作的背景与意义随着大数据、云计算和人工智能技术的不断发展...
在AI技术飞速发展的今天，我们对人工智能的期望越来越高。从日常生活到复杂的科学问题，AI逐渐走进我们的生活，而Kimi推出的最新AI模型K1，打破了传统的“做题机器”局限，不仅能分析数学、物理题目，还能对图片进行推理、风水分析，甚至识别古董，表现出令人惊叹的多维能力。K1的核心优势：思考与视觉的结合K1模型的最大亮点在于其综合的推理能力和视觉能力的结合。与之前的数学推理模型K0-Math相比，K1...
2024年12月21日，OpenAI在其为期12天的发布活动中，推出了新一代推理系列模型——o3及其精简版o3-mini。作为o1系列的继任者，这两款模型专为增强推理能力而设计，旨在提升模型在回答问题前的思考深度，最终提高回答的准确性。o3：接近人类水平的推理能力o3模型的发布标志着OpenAI在人工智能推理能力上的重大突破。通过在ARC-AGI基准测试中的优异表现，o3成为了首个突破该基准的AI...
2024年12月21日，人工智能领域迎来了精彩的一周，随着多个重磅新闻的发布，AI技术在推理能力、视觉理解和音视频交互等方面迈出了重要一步。从OpenAI发布最强推理模型o3，到阿里云百炼大模型平台推出创新功能，再到“抖品牌”借明星代言抢占市场，这一周的AI新闻热度不断飙升，行业前景也充满无限可能。OpenAI发布“超人”级推理模型：AI推理进入新纪元本周的最大新闻无疑是OpenAI发布的o3及其...
随着人工智能技术的迅猛发展，2025年将成为AI技术在全球经济和社会中占据主导地位的关键年份。无论是在企业生产力提升、消费者服务、医疗健康、金融服务，还是娱乐行业，AI技术的深度渗透将改变各个行业的面貌。本文将分析2025年AI市场的规模、估值以及哪些AI技术可能会在激烈的竞争中脱颖而出。2025年AI市场规模与估值根据多家市场研究机构的报告，2025年全球AI市场预计将突破8000亿美元，并继续...
随着人工智能技术的不断进步，微软的下一代14B小模型Phi-4横空出世，震撼了AI界。Phi-4的问世不仅是对现有大模型的挑战，也重新定义了AI训练与推理领域的未来发展方向。经过大量的创新技术和合成数据应用，Phi-4的数学能力超过了现有许多更大规模的模型，尤其是在推理能力和STEM（科学、技术、工程和数学）问答领域表现卓越。本文将深入解析Phi-4的技术突破，探索其如何在竞争激烈的AI领域脱颖而...
近日，据科技媒体《The Information》报道，ChatGPT的开发商OpenAI正在探索开发自家的人形机器人。尽管OpenAI曾在2021年关闭了机器人部门，但其近年来通过战略性投资逐步布局机器人技术，尤其是在自主机器人和通用人工智能（AGI）领域的应用。这一决定标志着OpenAI在人工智能的下一阶段扩展，向实体机器人领域迈出了重要的一步。投资机器人公司，积极布局机器人市场OpenAI的...
2024年12月25日，AIbase基地报道 —— 一项由哈佛医学院与斯坦福大学联合进行的最新研究表明，OpenAI 的 o1-preview 人工智能系统在诊断复杂医疗病例方面，可能优于人类医生。研究显示，o1-preview 在多个医疗测试中表现出色，其诊断准确率远超人类医生，尤其在复杂病例的推理和决策方面。o1-preview 超越医生：诊断准确率显著提高这项研究的重点是 o1-previe...
最新文章
2024年，硅谷生成式AI领域继续保持高速发展，但这一年比2023年更加复杂多变。巨头间的技术竞赛、初创公司的起伏、市场对AI未来的分歧以及技术路径的探索，都让这一年的AI大战充满了戏剧性。这一年，有令人兴奋的技术突破，有巨头的多轮融资，还有初创公司的高调陨落与被收购。本文将带您回顾2024年硅谷生成式AI的关键时刻，并展望2025年可能出现的技术与市场趋势。一、OpenAI：风波之后的新路线1....
过去两年，中国消费市场出现了一系列看似矛盾、甚至“反常”的现象。从电影院线的低迷到国产3A游戏的火爆，从高端白酒的销量下降到蜜雪冰城的全球扩张，每一个变化似乎都暗示着消费观念和经济结构的深刻转型。这些现象不仅是单一事件，更是一种文化和经济逻辑的具体呈现。本文将通过分析这些现象的本质与成因，解读中国消费趋势的深层逻辑，并尝试回答：这些变化为何出现？为何发生在当下？一、消费现象中的“冲突”与“反常”1...
随着TikTok在美国面临被禁的危机，全球1.7亿美国用户和数以万计的内容创作者正陷入一场前所未有的数字迁徙潮。作为字节跳动旗下的短视频巨头，TikTok一旦在美国市场遭遇关停，无数用户不得不寻找新的数字家园。令人意外的是，这一次，他们的目标并非与TikTok同根同源的抖音，而是中国另一款备受瞩目的社交平台——小红书。然而，小红书能否接住这批TikTok流失的用户？他们会在小红书长期停留，还是仅仅...
近年来，网络黑色产业链的猖獗不仅威胁用户的财产与隐私安全，也侵蚀了数字内容平台的健康生态。2024年，抖音通过强化AI大模型技术、升级风控策略和优化举报机制，对欺诈、水军和违规导流等黑产行为展开了有力打击。根据官方数据，全年累计封禁相关黑产账号超600万个，并向相关部门提供了重要线索，有效遏制了违法犯罪行为的发生。一、精准打击欺诈行为，强化用户防护1. 重点打击多种诈骗类型2024年，抖音平台内最...
尽管全年销量略有下滑，但特斯拉在2024年迈出了重要一步，全球销量首次超越奥迪，成为高端汽车市场的新标杆。**这一成绩标志着电动汽车（EV）市场的崛起，也展现了特斯拉在全球汽车行业的重要影响力。销量数据对比：特斯拉超越奥迪的背后根据最新数据显示，2024年特斯拉在全球共售出178.92万辆汽车，较2023年的180.8万辆减少约2万辆，同比下降1.1%。这是自2015年以来特斯拉首次年度销量出现下...
在人工智能技术席卷全球的背景下，半导体产业的地缘政治竞争正向一个更复杂的阶段演进。克里斯·米勒（Chris Miller），《芯片战争》一书的作者兼塔夫茨大学国际历史学教授，近期在台北的天下经济论坛上阐述了他对“特朗普2.0”时期中美半导体博弈的深刻洞察。他的分析不仅揭示了技术对未来全球格局的深远影响，也提供了对芯片行业新前沿的清晰预判。人工智能驱动下的技术转型扩展定律的失效米勒指出，尽管人工智能...
在2025年国际消费电子展（CES）期间，埃隆·马斯克（Elon Musk）的一番言论再次引发了科技界的广泛关注。他指出，AI训练已经在2024年耗尽了人类积累的绝大部分现实世界数据，未来AI发展的关键将在于合成数据（Synthetic Data）。这并非首次有行业大佬提出类似观点。OpenAI前科学长伊利亚·苏茨克维尔（Ilya Sutskever）在2024年NeurIPS机器学习大会上就曾提...
2025年，全球跨境电商市场持续升温，TikTok作为新兴流量渠道，正逐步成为跨境卖家开拓海外市场的关键平台。然而，随着政策风险和竞争加剧，如何有效利用TikTok的红利期成为众多卖家的重要课题。在这样的背景下，出海匠推出了融合AI技术的“创意工坊”，为跨境卖家提供从内容创意到供应链分销的全方位支持，成为市场瞩目的创新工具。TikTok：红利期来临，跨境电商的下一个风口尽管TikTok在美国遭遇政...
最新网站
