6月3日，昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE，性能强劲，同时推理成本更低。Skywork-MoE基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来，是首个完整将MoE Upcycling技术应用并落地的开源千亿MoE大模型，也是首个支持用单台4090服务器推理的开源千亿MoE大模型。
昆仑万维基于目前各大主流模型评测榜单评测了Skywork-MoE，在相同的激活参数量20B(推理计算量)下，Skywork-MoE能力在行业前列，接近70B的Dense模型，使得模型的推理成本有近3倍的下降。同时Skywork-MoE的总参数大小比DeepSeekV2的总参数大小要小1/3，用更小的参数规模做到了相近的能力。
有别于传统的固定系数(固定超参)的aux loss，昆仑万维在MoE训练的不同阶段让模型自适应的选择合适的aux loss超参系数，从而让Drop Token Rate保持在合适的区间内，既能做到expert分发的平衡，又能让expert学习具备差异化，从而提升模型整体的性能和泛化水平。在MoE训练的前期，由于参数学习不到位，导致Drop Token Rate太高(token分布差异太大)，此时需要较大的aux loss帮助token load balance；在MoE训练的后期，昆仑万维希望Expert之间仍保证一定的区分度，避免 Gating倾向为随机分发Token，因此需要较低的aux loss降低纠偏。
区别于Megatron-LM社区已有的EP(Expert Parallel)和ETP(Expert Tensor Parallel)设计，昆仑万维提出了一种称之为Expert Data Parallel的并行设计方案安博体育–亚洲体育，这种并行方案可以在Expert数量较小时仍能高效的切分模型，对Expert引入的 all2all通信也可以最大程度的优化和掩盖。相较于EP对GPU数量的限制和ETP在千卡集群上的低效， EDP可以较好的解决大规模分布式训练MoE的并行痛点，同时EDP的设计简单、鲁棒、易扩展，可以较快的实现和验证。
由于first stage的Embedding计算和last stage的Loss计算，以及Pipeline Buffer的存在，流水并行下均匀切分Layer时的各stage计算负载和显存负载均有较明显的不均衡情况。昆仑万维提出了非均匀的流水并行切分和重计算Layer分配方式，使得总体的计算/显存负载更均衡，约有10%左右的端到端训练吞吐提升。
Skywork-MoE是目前能在8x4090服务器上推理的最大的开源MoE模型。8x4090服务器一共有192GB的GPU显存，在FP8量化下(weight占用146GB)，使用昆仑万维首创的非均匀Tensor Parallel并行推理方式安博体育–亚洲体育，Skywork-MoE可以在合适的batch size 内达到2200 tokens/s的吞吐。
安博体育–亚洲体育在这里有着很是有趣的驾驶玩法，在这里可以利用自己的技巧进行冒险，大量的车辆可以自由的解锁，找到自己喜欢的车辆，完成自己的驾驶之旅，很是精彩的游戏玩法，非常考验你的驾驶技术，大量的游戏任务等着玩家来挑战，看看自己是不是一个老司机，有兴趣的快来下载老司机发车了体验吧。
1、游戏中会有非常多的增益道具，玩家可以探索收集，这些道具能让你更轻松的过关。
2、这是一款很是好玩的忍者战斗游戏，在这里玩家可以享受精彩的对战，还有更多的道具可以使用，利用自己的技巧消灭敌人，自由的切换自己的武器，利用武器消灭敌人，玩家可以小心的获得更多的胜利，这样就是可以得到奖励，多元化的游戏玩法模式，展开精彩的对战，有兴趣的快来下载亿万战场体验吧。
3、一款搞怪风格的策略卡牌游戏。上百个各具特色的可爱游戏人物形象，绝对会给玩家带来最震撼，前所未有的超凡体验；将他们排兵布阵，组成最佳阵容，让玩家的脑洞大开，更有奇葩剧情无力吐槽，有兴趣就来下载噢~
4、各种华丽拥有不同性能的武器和装备等你来体验。
5、游戏为玩家提供了许多免费的装修图纸，玩家可以模仿着制作。
1、还有最好的挂机模式，让你轻轻松松的躺赢，在线操控。
2、每次游玩的时候都会有不同的红包，点击大奖就可以领取惊喜大礼。
3、18种功能不同的炮塔任你选择，安置好炮塔，将进攻的怪物统统轰飞。
4、玩家在这里会看到各种不同的游戏关卡，各种精心设计的内容。
5、玩家可以与猫咪们一起玩耍互动，还能为猫咪们拍照做纪念。
1、玩家需要通过不断地战斗来提升自己的战斗力和角色技能。
2、无限币版本玩家可以在死亡后无限的复活，不断的挑战各种强大的对手。
3、玩家可以在游戏中学到很多跟咖啡和小吃有关的知识，制定全新的菜谱，吸引更多的顾客。
4、每个角色会有四个不同的天赋，天赋会大大影响抽卡的几率，对你的生存影响非常大。
5、这款游戏的背景是外太空的，我们能够在太空中进行遨游，操作UFO进行战斗和移动，经过各种各样的经典的故事展开战斗，我们也给大家详细介绍这个游戏玩法特色和功能性说明，希望能够给大家带来帮助。安博体育–亚洲体育下载-安博体育–亚洲体育免费下载安卓版
1、是一款恐怖风格的文字解谜冒险游戏。故事模式是以文字形式来完成，恐怖的营运配上文字的叙述，让你在体验的时候，会有一种后背凉飕飕毛骨悚然的感觉！喜欢挑战刺激感的朋友们就下载游戏试试吧！希望你们不要被吓到了噢！！！
2、一款十分精彩的赛车题材小游戏。玩家将驾驶着自己的卡丁车来和对手进行竞速，过程中可以使用各种道具去干扰对手；玩法有趣，画面精致，各种各样的炫酷的赛车等你来体验啊，快来一场速度上的PK~
3、还有各种丰富多彩的食材资源和不同的道具等你来使用。
4、在这里开启一段全新的冒险旅程，在这里使用你精湛的操作消灭更多的敌人。
5、玩家需要不断的操控自己的角色不断地参加各种挑战。
查看全部
预计，6月4日08时至5日08时，云南东南部、广西东部和南部、广东西部等地部分地区有大到暴雨，其中安博体育–亚洲体育，广西东南部、广东西南部沿海等地部分地区有大暴雨(100～180毫米)。上述部分地区伴有短时强降水(最大小时降雨量30～50毫米，局地可超过80毫米)，局地有雷暴大风等强对流天气。中央气象台6月4日06时继续发布暴雨黄色预警。
地方两会观察丨科技赋能产业兴——从地方两会看加快培育新质生产力
发布日期: 2026-04-04
安博体育–亚洲体育
扫一扫安装
豌豆荚发现更多
东风谷初文
第十八届人民企业社会责任奖拟获奖名单公示安博体育–亚洲体育
2026-04-04 12:44:48
梦岚baby
人民网评：提升基层防灾避险能力，携手共筑安全防线安博体育–亚洲体育
2026-04-04 12:44:48
澄静乐冬
推动公交站点提质升级，让城市更加“养眼润心”
2026-04-04 12:44:48
销魂琨瑶
互联网巨头入场 新能源造车再添“新势力”
2026-04-04 12:44:48
박시후
如何提升就地过年群众幸福感？
2026-04-04 12:44:48 推荐