6月3日，昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE，性能强劲，同时推理成本更低。Skywork-MoE基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来，是首个完整将MoE Upcycling技术应用并落地的开源千亿MoE大模型，也是首个支持用单台4090服务器推理的开源千亿MoE大模型。
昆仑万维基于目前各大主流模型评测榜单评测了Skywork-MoE，在相同的激活参数量20B(推理计算量)下，Skywork-MoE能力在行业前列，接近70B的Dense模型新记体育官网入口，使得模型的推理成本有近3倍的下降。同时Skywork-MoE的总参数大小比DeepSeekV2的总参数大小要小1/3，用更小的参数规模做到了相近的能力。
有别于传统的固定系数(固定超参)的aux loss，昆仑万维在MoE训练的不同阶段让模型自适应的选择合适的aux loss超参系数，从而让Drop Token Rate保持在合适的区间内，既能做到expert分发的平衡，又能让expert学习具备差异化，从而提升模型整体的性能和泛化水平。在MoE训练的前期，由于参数学习不到位，导致Drop Token Rate太高(token分布差异太大)，此时需要较大的aux loss帮助token load balance；在MoE训练的后期，昆仑万维希望Expert之间仍保证一定的区分度，避免 Gating倾向为随机分发Token新记体育官网入口，因此需要较低的aux loss降低纠偏。
区别于Megatron-LM社区已有的EP(Expert Parallel)和ETP(Expert Tensor Parallel)设计，昆仑万维提出了一种称之为Expert Data Parallel的并行设计方案，这种并行方案可以在Expert数量较小时仍能高效的切分模型，对Expert引入的 all2all通信也可以最大程度的优化和掩盖。相较于EP对GPU数量的限制和ETP在千卡集群上的低效， EDP可以较好的解决大规模分布式训练MoE的并行痛点，同时EDP的设计简单、鲁棒、易扩展，可以较快的实现和验证。
由于first stage的Embedding计算和last stage的Loss计算，以及Pipeline Buffer的存在，流水并行下均匀切分Layer时的各stage计算负载和显存负载均有较明显的不均衡情况。昆仑万维提出了非均匀的流水并行切分和重计算Layer分配方式，使得总体的计算/显存负载更均衡，约有10%左右的端到端训练吞吐提升。
Skywork-MoE是目前能在8x4090服务器上推理的最大的开源MoE模型。8x4090服务器一共有192GB的GPU显存，在FP8量化下(weight占用146GB)，使用昆仑万维首创的非均匀Tensor Parallel并行推理方式，Skywork-MoE可以在合适的batch size 内达到2200 tokens/s的吞吐。
新记体育官网入口游戏中有着超级多的鲨鱼种类等待着玩家收集，自由选择开启冒险。
1、忍者试炼体验，格斗触感高度还原，华丽刺激的人数对决更具可玩性。
2、是一款科幻星际战争策略沙盒游戏。玩法十分的自由，搭配丰富的战术技巧来给敌人致命的一击；玩家需要建立一个军团和敌人展开搏斗，这将亲生体验一次极致的战斗快感，在游戏中感受不一样的指尖战斗；快来创造你的星际战斗吧！
3、游戏中录入大量的嘲讽语音和动作，让玩家都能说出优美的中国话。
4、玩家在这这里会看到各种欢乐无穷的闯关挑战。
5、游戏中的战斗系统十分有特色，玩家可以通过使用技能看到不同的东西。
1、玩家可以通过各种手段来发展你的王国，慢慢的成为一方霸主。
2、在夜市中和客人们进行热情的互动和交流，用的亲和力获得更多的顾客光顾。
3、超高的自由度，玩家还可以自由的捏人，超多精美的服饰可以随意搭配。
4、在这个自由度超高的开放式的像素世界，自由扮演一位专业的射击手。
5、是一款非常好玩的末日世界冒险类型的手机游戏。游戏有着非常独特的卡牌游戏，给玩家带来不一样的游戏体验，游戏有着非常精致的画面，还有感兴趣的玩家在本页面下载体验。
1、是在一片受尽污染的城市中生存下来的游戏，你在游戏将面临生与死的抉择，通过收集和播种，交易到各种需要物资，不断的武装自己，且让自己变强变厉害，不断接任务做任务，逃离整个感染区！
2、玩家可以在游戏中完成各种不同的任务让自己变的更加强大。
3、是一款休闲养成类的游戏，游戏以人生为素材，游戏中的玩家可以选择自己喜欢的职业，充满成就感的一款游戏。在这里，你可以发展，创业，成为最强的典狱长哦!感兴趣的玩家快来下载体验吧!
4、收集众多性格萌点各异的少女，与他们一起并肩作战培养彼此的感情。
5、同部落成员一同参加部落对战，也可与其他部落一较高下。新记体育官网入口下载-新记体育官网入口免费下载安卓版
1、是一款大冒险类的游戏。玩家在游戏中享受疯狂大冒险游戏的旅途，带你回味梦工厂的经典剧情呢?还原了电影中的人物与场景，多人竞技，功夫熊猫、原始人、驯龙高手角色等你去收集。喜欢大冒险的玩家们，赶快来下载体验吧!
2、游戏中玩家可以探索各种上古的遗迹来获得不一样的奇遇，还有这丰厚的宝藏等待玩家挖掘。
3、是一款模拟经营类的游戏。玩家在游戏中需要经营一家餐厅，招募更多的员工在店里打工，做事情。解锁更多的游戏主题，这里是一个二次元的人物形象，这是一个幻想世界的餐厅，感兴趣的玩家可以来下载体验!
4、这里会有丰富的游戏战斗方式和各种策略方式等会你感受。
5、各种不同的奇珍异宝在隐藏在各种不同的角落中，需要玩家不断的 去探险。
查看全部
“总书记嘱托我们，这片大湿地很难得，一定要保护好。” 山东黄河三角洲国家级自然保护区高级工程师、生态监测中心副主任赵亚杰说，“鸟类作为湿地生态系统中的关键物种，是检验保护区生态环境的‘晴雨表’。如今，保护区的鸟类已由建区之初的187种，增加到373种，是全球鸟类重要的中转站、越冬地和繁殖地，被国内外专家誉为‘鸟类的国际机场’。”
新记体育官网入口
扫一扫安装
豌豆荚发现更多
仙灵元凯
【理论学术动态导读】新质生产力发展离不开制度环境和法治引领新记体育官网入口
2026-01-03 16:40:37
坠星智超
农时不等人，开足马力抢春耕新记体育官网入口
2026-01-03 16:40:37
矢泽乐荷
《冰球小课堂》第十四集：冰球装备的基本常识
2026-01-03 16:40:37
书生灵雨
商界女性赢得大选冰岛选出第二位女总统
2026-01-03 16:40:37
六阳映冬
噪声大、制冷差，二手空调“漂”成新机器……当地市监局通报→
2026-01-03 16:40:37 推荐