下一代模型将显著扩容,也会推出小模型

记者 | 陆柯言。编辑 | 文姝琪。我们更倾向于全参数QAT,因为模型质量更好。问:未来是否会考虑其他注意力机制,例如QSA。混元团队:SWA将KV cache大小降至原来的四分之一,显著降低了模型服务成本。例如,要防止智能体直接上网搜索答案,而不是真正解决任务。在Hy4中,down投影一般更敏感吗。通常,较强的安全调优会让开放模型拒绝基础的渗透测试、逆向工程或CTF任务。你们是如何处理PHP类型推断中的特殊问题的。混元团队:在网络安全训练中,我们重点关注防御性任务、漏洞分析和修复,同时排除以漏洞利用和进攻性攻击为主的数据。例如,基于Hy4的初始架构开发flash时,你们如何“选择”哪些层必须保留。相比按专家使用混合精度,我们更倾向于按张量分配,因为很多推理引擎将所有专家作为一个堆叠矩阵处理,按专家设置精度会破坏这种处理方式。接下来会做什么实验,来证明这一轮训练出的模型,在下一轮中会更擅长模型研发。混元团队:我们会考虑做一个更小的图像模型;视频模型也敬请关注。问:在研发过程中,最困难的时刻是什么。问:有计划发布新的开源图像模型吗。还是需要定制提示词才能取得好效果。在稀疏MoE中,适配器应该放在哪里。尤其是看到这么多人关注我们的工作时。在上下文保留方面,我们正在持续扩展强化学习训练所使用的上下文长度,并专门提升模型的上下文压缩能力。在不泄露内部信息的前提下,能否问一下,你们的智能体编程任务主要覆盖哪些方面。问:我研究中小型稀疏MoE模型和量化。问:我很好奇训练和架构方面的问题:你们每次调整网络层时,依据是什么。我们正在大规模强化学习上投入大量精力,同时持续改善用户体验和模型安全性。混元团队:幸运的是,训练最终进行得出乎意料地顺利。混元团队:欢迎加入。问:看起来,字节跳动和Kimi等公司正在推进超大规模模型,参数量达到3T,甚至5T,而你们仍在700B。你可以把主要权重和注意力模块放在GPU上,将部分专家层卸载到系统内存。我们通过基于Hessian的敏感度来选择位宽。还是说,它们只在200B以上规模时才有优势。这是为什么。完全可以搭建一个执行框架,把这个模型接入循环,让它完成同样的任务。问:我看到了在以PHP为主的代码仓库上的测试结果,Hy4 flash很好地完成了shell和DevOps任务,比如ZFS数据集迁移中的边界情况。未来更智能的Hy模型是否需要更多参数,还是说你们能在同样的规模下提供更强的模型,例如进一步后训练的Hy4。5. 在激活参数为12B时,Engram的贡献有多大。你们如何保持其稳定。我们正在改进,敬请期待。我们还没有做过LoRA实验,因此无法就适配器应该放在哪里给出建议。做得很棒,感谢你们把成果分享给全世界。更重要的是,它们成本更低,而你也能在这个过程中学到更多、收获更多。此次交流发生在混元连续发布Hy4和Hy4 flash之后。这种“过度思考”来自强化学习的奖励设计,还是训练数据的分布。混元团队:我们会在整个训练和评测过程中,监控潜在的投机行为和失对齐问题,并在问题出现时修复相应环境。4. 当激活参数量从12B降到3B时,哪些能力会最先退化。在你们的实验中,最小多大规模的模型还能提供有用的视觉理解能力。从防御角度看,让防御团队赶在攻击者之前发现漏洞,是减少关键基础设施攻击面的重要方式之一。也就是说,它能直接替换现有模型,还是需要额外配置。对于flash,我们通过强化学习来确保思维链较短。以下为本次问答实录,文字略经编辑。问:很高兴看到Hy4的红队测试细节。3. 对于冻结的量化模型主体,你们会在MoE和注意力模块的输出处加入低秩分支,使用覆盖整个模型的LoRA/QLoRA,还是对量化权重进行量化感知训练(QAT)。开源模型的安全边界则引发了更具体的讨论。关注了很多,但我们仍有提升空间。模型能否学会何时停止。混元团队:是的,我们会使用允许列表和阻止列表。至于开发者关注的本地使用门槛和生态适配,团队表示正在推进llama.cpp支持,并与vLLM、SGLang等社区合作。另外,非常感谢你们详尽的回答,也很期待仔细阅读安全说明。问:到Hy4.5时,你们会把参数量扩大到1.5万亿至2万亿,对吗。评测时,由于发现了前沿模型有很多钻空子的方式,我们会反复修正环境和这些列表。对于端侧模型,我们会采用不同的设计思路,让模型架构与边缘设备上的GPU硬件进行更紧密的协同设计。团队表示,希望模型写出的内容更像人类、减少套路化表达,这些能力仍有提升空间。更大的模型与适合本地运行的小模型,对架构的要求也有所不同。问:如果可以许一个愿望,你希望大语言模型未来能为你做什么。我有五个问题,大致按对下一步工作的影响程度排序:。太棒了。问:你们是否考虑更多关注不可验证的指令遵循能力。此外,用户对Hy4集中提出的问题还包括创意写作、可读性和风格约束等。混元团队:根据我们的评估,Hy4的漏洞发现能力较强,而漏洞利用能力相对较弱。问:感谢你们开放模型权重。在一般的Transformer层中,由于激活值存在离群值,down投影对量化更敏感,因此我们会给它分配更多比特。混元团队:与mHC/GR相比,iHC简单得多,能以更低的成本提供相当的性能。混元团队:我们正在推进llama.cpp适配,应该会在不久后向社区发布。限制模型的网络安全能力,难道不是让防御方付出代价吗。混元团队:记下了。对于模型能否通过递归自我改进研发下一代模型,团队称相关能力仍处于早期,当前优先任务是提升基础智能,并与产品协作改善用户体验。我们已经开发了若干内部基准,用于评估RSI的关键能力。我也支持其他人提出的需求,希望有 总参 数35B至70B、甚至最高到120B的MoE模型。混元团队:下一代Hy模型的规模一定会进一步显著扩大。而在我的35B模型上,反过来效果更好:Q4 gate/up加三值down,困惑度(PPL)为2.34;Q4 down加三值gate/up为2.68;全部三值量化为2.93。能否详细说明,你们如何通过强化学习处理这些问题,同时避免丢失上下文。幸运的是,引入DSA后,我们降低了MLA在解码阶段的计算强度。混元团队:我认为,A3B(激活参数约30亿)的模型已经可以用于你提到的任务。就因为这次flash发布,我真的开始考虑买一个服务器机架了。混元团队:当然。Engram参数不计入12B激活参数。也许效果会很糟,也许会很棒。混元团队:这是一个很有前景的方向,我们正在积极研究。同时,Hy4-mini已进入路线图,团队也预告了Flash-Lite模型,并表示正在考虑24B至31B的稠密模型,以及尺寸更小的图像模型。现实的、天马行空的都可以,比如生成动漫伴侣,或者一张完美的馒头图片,这样有趣的回答也完全可以。为什么放弃。我们希望模型写出来的内容更像人类,少一些套路化表达。混元团队:Engram和iHC对较小模型带来的收益甚至更大。我有一个35B-A3B模型,256个专家、top-8、激活参数约3B,采用三值量化后约为每个权重2.1比特(bpw)。Engram表也可以放在内存中。还是说,你们在其他讨论中暗示的小型MoE模型,才是为这个目的准备的。不过,在相同的KV cache大小下,MLA的模型质量优于GQA。你们会在模型正式广泛发布之前,与llama.cpp这样的项目合作完成适配吗。混元团队:我们正在开发Hyra 3.0,敬请期待。例如3D、大型单一代码仓库(monorepo)、短时零样本任务、文档编写与代码更新、代码/注释/文件结构的可理解性,以及多轮过程中的代码整洁性——能否在没有人类参与的情况下自主运行数百轮,同时保持代码整洁。我指的是理解图像、UI截图或图表,并围绕它们进行推理,而不只是OCR或简单的图像描述。这是混元团队首次在开发者社区公开答问,问题涉及下一代模型规划、技术架构、本地部署和安全防护等。比如200B-A3B就很有意思,现在还可以加入Engram。问:你们认为这些模型已经达到容量上限了吗,也就是已经“吸收”了它们所能容纳的全部智能。我们对数据做的详细消融实验,没有达到我希望的充分程度,因此在开始训练时存在很多不确定性。问:你们希望用户在家里的硬件上运行这个模型吗。混元团队:能为开源社区做贡献,非常有成就感。另外,在大型细粒度MoE中,按专家使用混合精度值得付出这些复杂性吗,还是按张量分配通常就够了。三、模型安全:防护措施与负责任的开源。Hy4 flash选择滑动窗口注意力(SWA),也是为了缩小KV缓存、降低服务成本。你们激活参数12B、拥有512个专家的LatentMoE设计,是我目前最接近的参考。一、模型路线:大小模型、多模态与下一步计划。问:在内部运行过程中,比如训练、评测和部署,尤其是智能体任务,你们会采用哪些网络控制措施。问:持续学习(continual learning)的进展如何。团队称,Hy4以尽可能提升智能水平为目标,思维链过长的确是已知问题;在Hy4 flash上,团队会通过强化学习缩短思维链。问:如果让Hy4自主运行,你们认为它目前能通过递归自我改进(RSI)发展出下一代模型吗。MoE到底能走多远。问:我也很关注让端侧智能体具备视觉理解能力。问:为什么Hy4 flash选择了SWA,而不是Hy4使用的门控DSA。我们相信,Hy4仍有很大的提升空间,尤其是在后训练方面。是否在考虑推出“Flash Lite”模型,例如35B-A3B。问:有可能推出循环式MoE模型吗。11月21日凌晨,首席AI科学家、混元大模型负责人姚顺雨与混元团队研究员在Reddit开发者社区进行了一场AMA(Ask Me Anything,在线问答)。团队认为,后训练阶段最难改善的行为就是过度思考。希望先做一个5B至12B的较小模型供本地使用,再做更大的模型,因为我们需要更多开源图像模型。你们如何看待参数量对智能的实际影响。还是更适合先发布,再由用户补上支持。我预计,这会显著损害模型质量。你们考虑过替代方案吗。六、开源与社区:反馈、生态合作和研究者心声。在相同的推理吞吐量下,我们完全可以运行一个 总参 数量相同、但激活参数更多的模型。问:Hy4 flash在内存方面的架构很有意思:将KV cache缩减至原来的1/6至1/24,并把64B的Engram参数卸载到主机内存,让12B激活参数在128GB及以上配置上运行得很快。对于模型当前的不足,团队给出了直接回应。避免过度拒绝,仍然是一个重要的改进方向。这样只会削弱模型,却没有实际收益。问:你们在训练和评测中部署了哪些监控系统。这最终改变了权衡结果,让我们决定采用MLA。在训练Hy4和Hy4 flash执行长时程智能体/CLI循环任务时,多轮强化学习中最难解决的奖励投机(reward hacking)或状态漂移问题是什么。能运行flash吗。混元团队:这些场景我们都有覆盖,并且非常重视任务多样性。如果你们有一个激活参数为3B的模型,会把额外的比特预算或计算预算用在哪里:更多激活参数容量、Engram、更高位宽,还是潜空间专家。我们也会开展红队评估,评估潜在风险。我们为每层使用独立的n-gram表。混元团队:我们积极投入用于科学研究的强化学习技术,同时也非常重视安全性问题。混元团队:。混元团队:我的观点是,过于稀疏的MoE架构对推理并不友好:它会占用大量GPU显存,却无法充分利用计算能力(FLOPs)。混元团队:Hy3和Hy4已经表明,做得扎实的较小模型,也可以胜过更大的模型。我们认为,这可能与模型的训练目标有关。问:按照所附“Levels of AGI”图中的分级,Hy4模型目前处于什么水平。谢谢。我们相信Scaling law,并将继续投入。混元计划继续扩大下一代模型的规模,同时推出面向低成本使用和本地部署的小模型。感觉就像把筹码全押上,结果真的赢了。在内存和能力之间,你们更倾向于怎样权衡。如果把这套架构缩小成“Hy4-Mini”,比如 总参 数约30B至35B、激活参数3B至4B,Engram嵌入和Identity Hyper-Connections(iHC)还能带来同样的提升吗。如果有一个模型在解释事情时明显更易读、更容易理解,这会是让我从Qwen 3.8 Flash Next转过去的重要原因之一。混元团队:作为一个十足的吃货,我希望大语言模型能为我创造全新的食谱,而且能确保做出来的味道正好符合我的喜好。提高稀疏度可以通过效率提升弥补一部分损失,但无法全部弥补;减少激活参数,最终意味着更少的计算量和更弱的模型。团队回应,训练重点包括防御性任务、漏洞分析和修复,同时承认减少过度拒绝仍是改进方向。1. 你们的IQ2-AH版本在gate/up投影上使用IQ2_XXS,在down投影上使用Q4_K。我注意到,许多西方闭源模型在这方面表现更好,例如遵守风格约束。混元团队:Hy4的目标是尽可能提升智能水平,因此思维链(CoT)过长是一个已知问题。问:模型一旦编造命令语法或参数标志,CLI就很容易出错。混元团队:我们做过不同MoE稀疏度的规模阶梯实验,类似于MAI-Thinking-1论文中的实验,得出的结论也大致相同:在激活参数量固定的情况下,提高稀疏度能提升计算效率。这些设计选择背后,是我们在不同规模的阶梯实验中进行的大量验证,以及对模型与推理系统的精细协同设计。会。问:有可能推出24B至31B的稠密模型吗。混元团队:过滤这类数据是一个更基础的步骤,同时还要配合通过训练建立的拒答安全防护机制。它肯定会很快,而且我认为,它毫无疑问会比35B-A3B模型更聪明。混元团队:更好的训练数据、多样化的内部评测,以及“不刻意刷榜”,哈哈。在问答中,混元团队明确表示,下一代Hy模型的规模将“进一步显著扩大”,并将继续投入大规模强化学习。混元团队:可以运行。不过,面对用户关于参数量扩大至1.5万亿至2万亿的追问,团队没有确认具体数字。问:你说的对于数据中心的高并行度服务确实成立。问:你们没有公布GPQA Diamond、tau bench、IFBench、SWE Bench等常见基准的结果,有什么特别原因吗。混元团队:我理解你的意思。混元团队:Hy4和Hy4 flash已经在OpenCode、Claude Code和Cline中得到广泛使用。混元团队:坦白说,我们展示的是较新的高难度基准成绩,例如Agents’ Last Exam、ProgramBench等。问:漏洞发现和逆向工程本身并不天然具有攻击性。Hy4 flash以Hy4的技术为基础,例如iHC、门控MLA和DSA,同时引入了几项新的架构组件:混合SWA、LatentMoE和Engram。所以,这个方向确实有效。Qwen3.8-Flash是125B-A6B(激活比例4.8%);DSv4.1是552B-A16B(激活比例2.9%),在预填充阶段则降为A8B(1.45%)。问:除了发布成果,研发过程中本身最让你开心的事是什么。我们还采用细粒度奖励机制,对关键细节中的错误施加更重的惩罚。这是因为模型在用代码训练、出现了过拟合,还是其他原因。混元团队:我们的RSI能力仍处于早期阶段。混元团队解释,过于稀疏的混合专家模型(MoE)会占用大量显存,却无法充分利用GPU计算能力;面向端侧设备时,则会采用不同的设计思路,让模型与硬件更紧密地配合。混元团队表示,正在通过高难度训练案例和细粒度奖励,提高工具调用的准确性,并扩展强化学习训练的上下文长度、改善上下文压缩能力。问:我还在学习本地AI模型,可能问得很基础:我有96GB显存,内存是“128 RAM”。问:就在五分钟前,Hy4 flash在我们内部的智能体编程和PR审查基准上达到了满分:它是第一个通过全部测试的模型,而且完成速度比Qwen 3.8 Flash Next、GLM 5.3 Flash和Deepseek V4.1 Flash都快。有开发者担心,过滤进攻性网络安全数据会影响防御性工作。这类模型可能很有用,例如面向客户的聊天机器人、文档解析、分类、简单自动化,以及其他受益于低开销和高速度的任务。不过,考虑到当前的硬件市场,本地运行的情况很不一样。模型如何才能更善于自我学习。问:我非常喜欢顺雨最早的ReAct工作。量化后,路由器的协同适应是否必不可少。此次问答透露了多个研发方向,但尚未给出下一代模型和小模型的具体发布时间。Qwen 3.6的写作能力也比3.8更好。混元团队:当然有可能。值得将它加到激活参数为3B的模型中吗。四、使用与本地部署:硬件配置和工具接入。这已经在我们的路线图上了,敬请期待。更高的激活密度对智能究竟有多重要。未来的模型有可能达到什么水平。问:为什么要从训练中移除网络安全红队测试数据。混元团队:最难的是环境设计存在漏洞所导致的奖励投机。敬请期待后续更新。只要不超出内存预算,我们更倾向于尽可能提升模型能力。在这方面有什么计划吗。智能体能否持续自主工作,也是这场问答的焦点。尤其是这些能力本来就具有攻防双重用途,限制一方也会严重伤害另一方。问:不计Engram参数,Hy4 flash是156B-A12B( 总参 数1560亿、激活参数120亿,激活比例7.7%)。我也希望看到新一代HunyuanVideo。另外,你们认为中国的实验室能否挑战Claude在生物学领域的主导地位。问:顺着这个话题,我很久以来都希望看到某个实验室真正把稀疏度推向新水平。2. 恢复量化后的MoE能力时,你们会训练路由器吗。混元团队:是的,敬请期待一款前沿的Flash-Lite模型。问:有没有可能推出Hy4-mini,也就是更小尺寸的模型。我发现,唯一能输出勉强够用的代码文档的模型是Gemini Pro。你们是否测试过,如果采用156B-A8B或156B-A5B,模型质量会下降多少。是否存在一个临界点,使三值或2-bit MoE不再可行。我们当前的优先任务是打牢基础、提升模型智能,并与产品紧密协作,提供更好的用户体验。问:除了Hy4最终采用的设计,团队还认真考虑过、但最终放弃的最有竞争力的架构方案是什么。五、模型能力与评测:编程、写作和真实任务。问:你们对创意写作和可读性投入了多少关注。激活参数量本质上决定了你的计算预算。我正在尝试对部分专家张量使用4-bit量化,再加上低秩校正分支,以恢复模型能力。混元团队:过度思考。不过,这也使我们能够将其蒸馏为性价比很高的Hy4 flash。我们预计,推理深度、长上下文跟踪和工具调用可靠性会最先退化,而2-bit训练后量化(PTQ)会远早于三值QAT失效。问:在后训练阶段,最难改善的行为是什么。两款产品分别指向更强的模型能力和更低的使用门槛。混元团队:我们在GQA和MLA之间反复权衡了很长时间。问:Hy4能在OpenCode、Claude Code或Cline里开箱即用吗。二、模型技术路线:架构取舍与研发难题。请持续关注。例如,对出站网络访问设置允许列表或阻止列表。MLA的计算强度明显高于GQA,这使得在推理GPU上进行推测解码时,瓶颈会落在计算能力上。你提到的这些基准推出得较早,分数已经饱和。我们也计划训练更大的模型。混元团队:对我们来说,是从Hy3扩展到Hy4的时候。由于内存带宽较低,A12B在Strix Halo和DGX Spark上运行较慢,而QFN在同样的带宽条件下速度还不错。还是说,这只是LatentMoE和1536维专家潜空间的特性。问:和Hy4 preview一样,Hy4正式版有时仍会花太长时间推理。按张量分配也更便于迁移。感谢你们抽时间参加这次AMA,期待未来能使用更多你们的成果。问:最后,想问几位回答问题的研究者一些个人感受:参与开放权重模型的研发,你有什么感受。在QAT中,我们会将路由器与模型的其余部分一起训练,使路由器保持稳定。据提供的信息,11月4日发布的Hy4在第三方评测机构Artificial Analysis的智能指数榜单上位列中国模型第二,在Agent Arena榜单上居开源模型首位;随后推出的Hy4 flash则侧重使用成本,单任务成本为Hy4的二十分之一。混元团队:是的。混元团队:在工具调用准确性方面,我们在强化学习数据上投入了大量精力,包括加入模型容易出错的高难度案例。你们根据什么信号,决定给哪个专家投影分配更多比特。HunyuanImage-3.0很棒,但对大多数配置来说太大了。我在Transformer块(block)的输出处使用秩为512的分支LoRA,效果仍不够,不想在更大规模的实验中重蹈覆辙。混元团队:在我看来,是2.5级。问:这两个模型(Hy4和Hy4 flash)的训练更侧重编程,还是面向通用用途。混元团队:我觉得还有很大的潜力。混元团队:我们也认为创意写作和可读性非常重要,正在将其作为重点改进方向。我以前会用Claude 3.5编辑文本,但现在已经不用5.5了。你们如何避免对这些具有攻防双重用途的编程提示过度拒绝。问:iHC相比mHC和Gated Residuals(GR,门控残差)有哪些优势。混元团队:有可能,正在考虑中。另外,你们是否有衡量这项能力的基准,能在“自主实现任务n小时、调用工具m次”之外评估其自主性。问:借助Hy4和Hyra 2.0,你们已经能够改进训练基础设施,并训练出更好的小模型。问:我在看llama.cpp的PR时,发现两天前有人提交了支持Hy4 flash的PR。目前,我们也在与vLLM、SGLang等社区深入合作。混元团队:通用用途。问:我注意到大语言模型的写作能力在退化。你们是每层使用独立的n-gram表,还是共享一张表、再配合各层的投影。我们对各种架构创新都持开放态度。事件响应团队会利用逆向工程进行恶意软件分析、去混淆和取证调查,了解攻击者如何入侵系统。混元团队:当然。这些都是为了负责任地开源。说实话,训练刚开始时,我相当紧张。问:你们是否打算在未来将强化学习作为科学研究的重点,尤其是针对Hy4 flash到500B参数规模的中等规模模型。但156B-A8B或A5B是一种根本不同的权衡:它保持 总参 数量不变,同时减少激活参数量。但220B的 总参 数量,即使Q4量化也需要130GB以上,仍让这里大多数单GPU和64GB Mac用户难以承受。混元团队:我们也注意到了这一点。有时候,一个好例子比五段文字更有帮助。我冻结了路由器,但出现了路由漂移和工具使用能力退化,保留原始路由器也没有解决问题。
