ONE游戏

  • 2026-04-20 04:55:34 来源:人民网(People's Daily Online) 作者:私哏

    新浪科技讯 3月18日上午消息,2026英伟达GTC大会上,月之暗面Kimi创始人杨植麟分享指出,要推动大模型智能上限的持续突破,必须对优化器、注意力机制及残差连接等底层基石进行重构。  继今年 1 月底正式发布Kimi K2.5以后,杨植麟在本次演讲中首次系统性地披露了该模型背后的技术路线图。他将Kimi的进化逻辑归纳为三个维度的共振:Token效率、长上下文以及智能体集群(Agent Swarms)。在杨植麟看来,当前的Scaling已经不再是单纯的资源堆砌,而是要在计算效率、长程记忆和自动化协作上同时寻找规模效应。如果能将这三个维度的技术增益相乘,模型将表现出远超现状的智能水平。  技术重构是本次演讲的核心。杨植麟提出,行业目前普遍使用的很多技术标准,本质上是八九年前的产物,正逐渐成为 Scaling 的瓶颈。  自 2014 年以来,Adam优化器一直被视为行业标配,但在超大规模训练中,寻找更具 Token 效率的替代方案已成趋势。Kimi团队在实验中验证了Muon优化器在提升Token效率方面的显著潜力,但在将其扩展至万亿参数规模的K2模型训练时,发现了Logits爆炸导致模型发散的稳定性难题。为此,团队研发并开源了MuonClip优化器,通过Newton-Schulz迭代并结合QK-Clip机制,在彻底解决Logits爆炸问题的同时,实现了2倍于传统AdamW的计算效率。  针对 2017 年诞生的全注意力机制(Full Attention),杨植麟展示了基于 KDA 架构的Kimi Linear。这是一种混合线性注意力架构,它挑战了“所有层必须使用全注意力”的惯例,通过优化递归存储管理,在128K甚至1M的超长上下文中,将解码速度提升了5到6倍,且在不同长度的场景下均保持了优异性能。  此外,针对已有十年历史的残差连接,Kimi 引入了Attention Residuals方案,将传统的固定加法累加替换为对前序层输出的 Softmax 注意力,解决了隐藏状态随深度增加而无限制增长、从而稀释深层贡献的顽疾,使每一层都能根据输入内容有选择地聚合信息。这项工作引发了前OpenAI联合创始人Karpathy的思考,直言我们对Attention is All You Need这篇Transformer开山之作的理解还是不够。xAI创始人马斯克也评论称Kimi这项工作令人印象深刻。  在跨模态研究方面,杨植麟分享了一个重要的观察:原生的视觉-文本联合预训练中,视觉强化学习(Vision RL)能够显著反哺文本性能。消融实验数据显示,经过视觉RL训练后,模型在MMLU-Pro和GPQA-Diamond等纯文本基准测试上的表现提升了约2.1%。这意味着空间推理与视觉逻辑的增强,可以有效转化为更深层的通用认知能力。  演讲的最后,杨植麟深入探讨了智能体集群的扩展。他认为未来的智能形态将从单智能体向动态生成的集群进化。Kimi K2.5 引入的Orchestrator机制,能够将复杂的长任务拆解给数十个子Agent并行处理。为了防止协作过程中出现单点依赖导致的“串行塌缩”,团队设计了全新的并行RL奖励函数,激励模型真正学会任务分解与并行执行。  杨植麟在总结中谈到了 AI 研究范式的转变。他提到,十年前的研究往往更看重新想法的发表,但受限于算力资源,很难通过不同规模的实验来验证这些想法。而现在由于拥有了足够的资源和“缩放阶梯(Scaling Ladder)”,研究者可以进行严谨的规模化实验,从而得出更自信、更可靠的结论。这也是为什么Kimi能够从那些看似“古老”的技术中挖掘出新突破的原因。Kimi将继续坚持开源路径,将MuonClip、Kimi Linear和Attention Residuals等底层创新贡献给开源社区,打造更强大的模型,推动人工智能技术的普惠。(文猛) .appendQr_wrap{border:1px solid #E6E6E6;padding:8px;} .appendQr_normal{float:left;} .appendQr_normal img{width:100px;} .appendQr_normal_txt{float:left;font-size:20px;line-height:100px;padding-left:20px;color:#333;} 海量资讯、精准解读,尽在新浪财经APP 责任编辑:杨赐

    「活动」首次登录送67 元红包

    7.43 MB
    |
    版本V7.13.11
    喜欢 83%好评(324人)
    评论 539
    下载我在和平精英捡红包TXT 安装你想要的应用 更方便 更快捷 发现更多
    无限流小说双男主截图0 婚纱追星网暴我京城世家截图1 绝地求生之空投成神免费下载安装截图2 番茄小说下载免费下载官网截图3 家长夸老师尽职尽责话截图4
    详细信息
    • 软件大小: 82.22 MB
    • 最后更新: 2026-04-20 04:55:34
    • 最新版本: 7.13.11
    • 文件格式: apk
    • 应用分类: ios-Android男生下半🫲🏾身勃🍃起照片
    • 使用语言: 中文
    • 网络支持: 需要联网
    • 系统要求: 6.3以上
    应用介绍
    🔞男生🍆❌老师🍑里91/
    18🈲🍆🍑无套直小说
    tobu8XX成人91看片
    夜里十大🈲用黄台APP软件
    成人网18㊙️尤视频版国产

    【联系我们】 客服热线:137-6734-2126

    加载更多
    包含 饿了么 的应用集
    开局地摊卖大力几个女主结局 评论
    • tobu8XX国产日韩欧美久久久精品图片 1天前
      情人节
    • 日韩国产🔞在线观看㊙一区二区 4天前
      陈楷发文晒聊天记录
    • 3d娜美🏌🏾‍♀️酒吧鱼人🧎🏻‍♂ 5天前
      张维伊被内推再见爱人
    • 电锯人3D同人❌18黄漫网站 4天前
      欧阳娜娜在逃千禧辣妹
    • 少萝裸体🔞🔞🔞网站白狐 5天前
      全运会两位解说打的披头散发
    • 中国❌❌❌❌❌Lmedjyf视频网站 1天前
      原来维生素D缺乏容易长白头发
    • 乳色😍叹息未增删带翻译樱花🌸翻译 5天前
      9图看2025年健康中国答卷
    • Free1819日本⭕⭕⭕⭕XX高清丝袜 2天前
      AI医生朋友阿福来了
    • 裸腹肌男㊙️无遮挡动漫 5天前
      何赛飞爆料有演员整容整到认不出来
    • 免费➕无码➕在线观看19 5天前
      ID.ERA9X凭什么说是增程3.0
    • 女学生被🐻扒衣服 1天前
      美炸毁2架执行救援故障运输机
    【网站地图】【sitemap】