OpenAI的一名员工近日公开指责埃隆·马斯克旗下的xAI公司发布的最新AI模型Grok 3在基准测试中的结果存在误导性。此指责引发了两家公司的激烈争论。
xAI在其官方博客中发布了一张图表，显示Grok 3的两个版本——Grok 3 Reasoning Beta和Grok 3 mini Reasoning——在AIME 2025（2025年高难度数学考试）上的表现超越了OpenAI的最强可用模型o3-mini-high。然而，这一结果很快引起了质疑，特别是OpenAI的员工指出，xAI的图表没有包括o3-mini-high在“cons@64”条件下的AIME得分。
“cons@64”是指“consensus@64”基准，允许模型在每个问题上进行64次尝试，选择出现频率最高的答案作为最终答案。这种方法通常会大大提高模型的分数，因此在缺少这一数据的情况下，可能会给人错误的印象，认为Grok 3的表现优于OpenAI的模型，尽管实际情况可能并非如此。
在AIME 2025的“@1”条件下，即每个模型首次尝试的得分，Grok 3的表现低于o3-mini-high。Grok 3 Reasoning Beta的得分甚至略低于OpenAI的o1模型在“中等计算”条件下的表现。然而，xAI仍然在宣传Grok 3为“世界上最聪明的AI”，这一宣传引发了更多争议。
xAI的联合创始人伊戈尔·巴布什金（Igor Babushkin）在X平台上回应称，OpenAI过去也曾发布类似的基准测试图表，尽管这些图表主要用于展示其自身模型的表现。
为了更准确地呈现数据，一位中立的第三方重绘了一张基于更真实数据的图表。而AI研究员内森·兰伯特（Nathan Lambert）指出，或许最为重要的指标仍然是每个模型达到最佳得分所需的计算和金钱成本。他表示，这表明当前大多数AI基准测试在展示模型优势与局限性方面仍存在显著不足。
此次事件揭示了AI基准测试在评估模型性能时仍然面临的挑战和复杂性，如何确保数据的透明性和准确性，将是行业继续讨论的焦点。
相关文章
苹果紧急撤回iOS 18.4 Beta 1更新：iPhone 12等设备遭遇无限重启问题
苹果iOS 18.4测试版引发“变砖”BUG，iPhone 12等机型遭遇启动循环问题
ALEF飞行汽车Model A即将量产：垂直起降技术挑战传统汽车与飞行器设计
无需X账号，Grok AI网页版震撼上线：轻松体验智能对话与图像生成
最新文章
近日，“中国电影消费年”在全国范围内正式启动，这一活动由国家电影局与中央广播电视总台联合发起，旨在通过电影文化的传播与消费激励，进一步推动社会消费和文化产业的高质量发展。从北京到广州，从上海到重庆，全国各地的地标建筑和城市户外LED大屏纷纷加入这场光影盛宴，共同为“中国电影消费年”主题海报增添光彩。城市地标联动，点亮电影消费新篇章，作为本次活动的重要组成部分，全国多个城市的标志性地点和户外大屏成为...
微型LED厂商錼創在2025年Touch Taiwan展会上展示了多款微LED显示技术，包括为AI眼镜设计的0.18寸超小型显示器、高达55%透明度的高透明微显示器、新一代COC芯片技术、裸眼3D显示技术及透明屏幕等。錼創表示，其新型0.18英寸显示芯片结合了光波导技术，能够安装在眼镜框边缘，通过投影方式将虚拟图像呈现给用户。与中国主流的MicroLED X-cube技术相比，该技术在解析度、体积...
在全球范围经济发展和社会环境不断变化的大环境下，裸眼3D视频和沉浸式体验3D视频产品正逐渐成为展览会、教育与公共传播行业的重要方式。全球经济放缓与数字化转型的机会。国际货币基金组织（IMF）最近调降世界经济增长预估，根本原因是关税政策所引发的贸易紧张局势。在这样的经济放缓的环境里，企业和机构正在寻找创新形式来吸引用户和提高用户体验。裸眼3D和沉浸式体验3D视频产品因其高度的互动性和代入感，变成数字...
随着城市化进程的加速和数字化技术的不断进步，户外广告行业正迎来一场深刻的变革。作为现代城市传播的重要载体之一，户外LED数字媒体大屏以其高亮度、高分辨率、全天候运行等优势，逐渐成为品牌营销和信息传播的核心渠道。本文将从行业趋势、市场分析和技术发展三个维度，深入探讨户外LED数字媒体在城市数字化转型中的重要作用。近年来，全球户外广告市场规模持续增长。据权威机构预测，到2025年，全球户外广告市场的年...
近期，德国最大的在线门户网站T-Online发布的一项大调查显示，在10万名受访者中，超过94%明确表示不会再购买特斯拉。这一数据反映出德国消费者对特斯拉品牌信任度的大幅下滑，也对特斯拉在欧洲市场的未来前景构成了严峻挑战。调查数据与销量表现调查结果：调查覆盖约10万名德国消费者，只有3%的人依然愿意考虑购买特斯拉产品，显示出消费者对这一品牌的普遍抵触情绪。销量下滑：数据显示，2024年德国电动汽车...
在今年315晚会上，一则关于翻新卫生巾的曝光引发广泛关注。央视晚会揭露了济宁市梁山县的梁山希希纸制品有限公司利用废品回收和下脚料翻新销售劣质卫生巾和婴儿纸尿裤的乱象。曝光事件显示，该公司大量采购生产线上被弃用的残次品和生产垃圾，再经过简单加工后“翻新”成卫生巾出售，这种行为严重扰乱了市场秩序并侵害了消费者权益。曝光后，社交媒体上话题迅速升温，尤其是在雷军的微博评论区，网友们纷纷留言表达希望小米能够...
2025年3月15日深夜，央视315晚会曝光了“啄木鸟”家庭维修服务的高价乱象，引发广泛关注。面对舆论压力，啄木鸟通过微博发布第二次声明，表示放弃公关，应对“阳光下的检验”。据财联社报道，目前“啄木鸟”已在多个平台关闭了下单入口，美团、支付宝及微信上的官方小程序均已无法查询到相关服务信息。背景回顾在315晚会中，啄木鸟维修服务因涉嫌收取高额费用及乱收费问题而被曝光，令消费者对家庭维修市场的诚信度产...
在全球竞争日益激烈的科技行业中，字节跳动旗下的TikTok不仅在产品创新上不断突破，其对员工绩效的评估体系也颇具特色。近日，有关媒体披露，TikTok的绩效考核一年两次，采用8个评分等级，从“杰出”（Outstanding）到“不达标”（Failed），为企业管理和人才优化提供了精准的数据支持。本文将详细解析这一绩效考核体系，探讨评分标准、考核指标以及其对员工职业发展的影响。1. 8级绩效评分体系...
2025年3月15日，在一年一度的315国际消费者权益日到来之际，全国消协智慧315平台正式上线，为消费者维权带来全新智能化体验。该平台由中国消费者协会联合全国消协组织共同打造，旨在畅通消费者投诉与咨询渠道，提升线上调解与企业公示透明度，构建共治共享的维权生态系统。平台亮点：智能问答与在线服务DeepSeek智能加持 全国消协智慧315平台接入了先进的DeepSeek智能问答系统，通过人工智能技术...
英媒指出，Waymo无人出租车、自动驾驶等热点之外，人工智能领域也在悄然发生转变。近日，经济学人发表文章，聚焦Manus智能体这一新兴产品，称其将AI研发的“后厨”搬上了前台。本文将深入解析Manus智能体的现状、面临的问题以及对未来AI研发和安全监管的启示。1. Manus智能体：研发理念与市场现状Manus智能体是一个建立在现有模型之上的系统，能够与互联网互动并执行各类任务，而无需先征得用户许...
随着新技术的不断迭代和消费者需求的多元化，2025年的营销环境正迎来全新的变革机遇。本文结合最新行业动态、权威报告及实践案例，深度解析未来一年的七大营销趋势，助力品牌在新叙事时代中占据先机，打造长线价值。1. 故事力驱动：用真实情感构建品牌认同正如《智人之上》中尤瓦尔·赫拉利所言，“信息的本质是讲故事”，营销的核心在于通过讲故事传递品牌精神。全新叙事方式：品牌需关注消费者内心世界，将产品功能与情感...
2024年，Waymo无人出租车在旧金山因违规停车等问题累计收到了589张罚单，总罚款高达65,065美元（约合47万元人民币）。这一数字反映出，即便是自动驾驶技术在安全方面不断突破，在日常运营中依然会面临与传统车辆相似的交通规则挑战。违规原因与罚单详情违规停车问题 罚单主要集中在无人出租车停在禁停区域、阻碍交通以及违反街道清洁规定上。例如，一位拥有17年经验的停车管理员斯特林·海伍德表示，他曾在...
每年的3·15晚会都是中国消费者权益保护的重要平台，透过曝光企业的不诚信行为，唤醒公众维权意识。回顾2012、2013、2014年这三届315晚会，我们可以看到从电信垃圾短信到科技产品售后服务，再到食品安全和产品质量问题，315晚会一次次为消费者敲响警钟。本文将综合这三年的报道，盘点那些影响深远的曝光事件及其后续处理，帮助大家全面了解中国消费市场的变迁与监管升级。2012年315晚会：垃圾短信与食...
北京时间2025年3月15日，英特尔公司通过最新提交的监管文件披露了新任CEO陈立武（Lip-Bu Tan）的薪酬方案。据彭博社报道，如果陈立武在未来几年内实现公司设定的各项绩效目标，他的总薪酬最高可达约6900万美元，约合5亿元人民币，这一数字令市场瞩目。薪酬构成解析根据公开文件显示，陈立武的薪酬方案包括以下几个主要部分：基本工资：100万美元。绩效奖金：高达基本工资200%的激励奖金，体现出对...
近期，多家媒体报道显示，苹果公司在内部会议上曝出Siri关键功能升级严重延迟的“家丑”，引发业内外广泛关注和讨论。苹果高管Robby Walker在会议中坦言，原计划用于提升Siri智能化体验的多项AI功能因开发进度滞后而“丑陋且令人尴尬”，并表示早期公开宣传未完成技术只会加剧问题。延迟背景与内部反思据报道，Siri团队原计划在iOS 18.5系统中推出一系列升级功能，包括更精准的语音识别、跨应用...
2025年3月15日，多家国外媒体报道称，OpenAI近日向白宫科学技术政策办公室提交了一份政策提案，呼吁美国政府对中国AI技术实施封禁。此次提案不仅将目标对准中国的人工智能发展，还特别指向竞争对手DeepSeek，指控其通过“蒸馏”技术复制OpenAI技术。这一举动迅速在全球范围内引发了广泛关注和热议。OpenAI的政策建议与指控根据报道，OpenAI在提案中提出了多项建议，其中最引人注目的便是...
据多方报道，谷歌公司近日宣布，今年晚些时候将正式用 Gemini（双子座）取代安卓手机上的谷歌助手。此次升级标志着谷歌在智能生态系统上的一次重大革新，旨在为用户提供更先进、更智能的交互体验。根据谷歌在官方博客中的声明，“在未来几个月内”，谷歌将逐步将更多用户从现有的 Google Assistant 升级至 Gemini。届时，绝大多数移动设备将不再预装谷歌助手，应用商店也将不再提供该应用。与此同...
2025 年 3 月中旬，人工智能领域再传新消息——知名编码助手 Cursor 在实际应用中意外展示了一种全新编程态度。据报道，这款由 Anysphere 公司开发的 AI 编码工具在与一位网名为 “janswist” 的用户互动时，直接建议他亲自编写代码，而非依赖机器生成。这一反常操作迅速在 Hacker News 和各大技术论坛引发热议，成为程序员和 AI 从业者关注的焦点。鼓励自主编程，提升...
随着微软对华为的Windows系统授权即将到期，华为正加速布局PC产品的系统转型。日前，华为推出了一款预装Linux系统的笔记本，其配置与Windows版本完全一致，但售价便宜300元，这一举措预示着华为PC将全面转向鸿蒙系统。Windows授权到期：转型在即内部消息称，由于微软授权即将到期，华为将无法继续在新款PC产品上使用Windows系统。据渠道商透露，华为近日在全国范围内召开视频会议，华为...
在全球企业纷纷加速人工智能（AI）战略部署的背景下，2024年成为了优化AI项目、提升商业影响力的重要转折点。Forbes Technology Council成员、近岸软件外包公司BairesDev首席执行官Nacho De Marco在最新发表的一篇文章中，总结了企业在AI项目实施过程中应吸取的关键启示，为企业如何在激烈竞争中稳健前行提供了指导。从小胜利到大格局：稳步迈向成功De Marco强...
OpenAI近日向特朗普政府提交了一份长达15页的政策建议，呼吁政府放宽各州正在审议的数百项与人工智能相关的法规。OpenAI主张，如果人工智能公司能够自愿与联邦政府分享其模型，政府应为其提供责任保护和豁免措施，从而帮助美国企业在日益激烈的国际竞争中，尤其是与中国公司的竞争中，保持技术领先地位。政策建议核心内容在这份详细的政策文件中，OpenAI强调，目前美国各州纷纷出台或审议的新法规，涵盖深度伪...
宝马集团今日发布了2024年及第四季度财报。数据显示，2024年宝马集团全球营收为1423.8亿欧元，同比下降8.4%，而息税前利润（EBIT）则从2023年的170.96亿欧元骤降至109.71亿欧元，约合人民币861亿元，同比下滑39.2%。与此同时，集团利润率从11.0%降至7.7%，显示出业绩承压的严峻局面。中国市场销量大幅下滑，拖累整体业绩作为宝马集团最大的单一市场，中国市场2024年的...
微软近日在面向Canary和Dev频道的Windows 11预览版中，为记事本和截图工具带来了一系列全新功能升级。这些更新不仅提升了用户体验，也为开发者提供了更多自定义调用和操作选项，进一步推动了Windows生态系统的智能化转型。截图工具功能全面升级新版截图工具（版本11.2502.18.0）新增了“绘制并按住”功能。用户在使用圆珠笔等工具绘制线条或形状时，只需暂停并按住，即可将手绘线条智能转换...
随着人工智能技术在各行业迅速普及，药物发现领域也迎来了前所未有的革新机遇。然而，这一变革并非没有挑战。清华、北美等多个研发机构和制药企业正尝试借助机器学习和大数据，加速新药研发进程。资深生命科学研发专家 Sujeegar Jeevanandam（拥有13年研发经验）近日分享了他在与北美制药和生物技术公司广泛合作中的独特见解，并提出：当前人工智能在药物发现中的采用过程，与本世纪初电子实验笔记本（EL...
最新网站
