6月3日，昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE，性能强劲，同时推理成本更低。Skywork-MoE基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来，是首个完整将MoE Upcycling技术应用并落地的开源千亿MoE大模型，也是首个支持用单台4090服务器推理的开源千亿MoE大模型。
昆仑万维基于目前各大主流模型评测榜单评测了Skywork-MoE，在相同的激活参数量20B(推理计算量)下开博体育.(中国)官方网站，Skywork-MoE能力在行业前列，接近70B的Dense模型，使得模型的推理成本有近3倍的下降。同时Skywork-MoE的总参数大小比DeepSeekV2的总参数大小要小1/3，用更小的参数规模做到了相近的能力。
有别于传统的固定系数(固定超参)的aux loss，昆仑万维在MoE训练的不同阶段让模型自适应的选择合适的aux loss超参系数，从而让Drop Token Rate保持在合适的区间内，既能做到expert分发的平衡，又能让expert学习具备差异化，从而提升模型整体的性能和泛化水平。在MoE训练的前期，由于参数学习不到位，导致Drop Token Rate太高(token分布差异太大)开博体育.(中国)官方网站，此时需要较大的aux loss帮助token load balance；在MoE训练的后期，昆仑万维希望Expert之间仍保证一定的区分度，避免 Gating倾向为随机分发Token，因此需要较低的aux loss降低纠偏。
区别于Megatron-LM社区已有的EP(Expert Parallel)和ETP(Expert Tensor Parallel)设计，昆仑万维提出了一种称之为Expert Data Parallel的并行设计方案，这种并行方案可以在Expert数量较小时仍能高效的切分模型，对Expert引入的 all2all通信也可以最大程度的优化和掩盖。相较于EP对GPU数量的限制和ETP在千卡集群上的低效， EDP可以较好的解决大规模分布式训练MoE的并行痛点，同时EDP的设计简单、鲁棒、易扩展，可以较快的实现和验证。
由于first stage的Embedding计算和last stage的Loss计算，以及Pipeline Buffer的存在，流水并行下均匀切分Layer时的各stage计算负载和显存负载均有较明显的不均衡情况。昆仑万维提出了非均匀的流水并行切分和重计算Layer分配方式，使得总体的计算/显存负载更均衡开博体育.(中国)官方网站，约有10%左右的端到端训练吞吐提升。
Skywork-MoE是目前能在8x4090服务器上推理的最大的开源MoE模型。8x4090服务器一共有192GB的GPU显存，在FP8量化下(weight占用146GB)，使用昆仑万维首创的非均匀Tensor Parallel并行推理方式，Skywork-MoE可以在合适的batch size 内达到2200 tokens/s的吞吐。
开博体育.(中国)官方网站玩家需要不断地挑战各种不同的任务和关卡。
1、趣味的创意的游戏的玩法的画图和拼图的手法设计。
2、玩家在这里自由的感受各种没有的限制的游戏玩法。
3、玩家能够在游戏中收获超多的快乐，超级多沙雕鬼畜的玩法等你来探索。
4、熟悉的人气角色会出现在手游中。
5、游戏的恐怖气氛渲染的十分到位，搭配上昏暗的灯光和阴森的背景音乐。
1、是一款非常好玩的单机策略放置类型的手机游戏，俗话说乱世出英雄，越是动乱的时代英雄越是多，这个三国时代就是一个天下大乱的时代，欢迎感兴趣的玩家在本页面下载。
2、建立村庄，组建部落，保护自己的资源，打败对手获得更多的奖励，享受其中的乐趣。
3、是一款玩起来非常刺激的赛车题材手游，游戏的冒险挑战非常丰富，各路关卡玩家可以自由选择。在这里你能体验到最刺激的竞速，玩起来很有意思，值得玩家去体验。如果喜欢这款游戏的玩家不要在犹豫了快来下载吧。
4、精彩的即时PVP对战，用你组合的卡组来实战完美的攻防策略击败对手。
5、是一款非常有挑战性的游戏，游戏需要运用到你的观察力，在充满互动的游戏场景以及美轮美奂的手绘插画内找出隐藏在场景中的物品，游戏里还有非常多的关卡模式，欢迎前来挑战。
1、多种不同的自身的灵感设计，打造属于自己的专属道具。
2、是一款十分有趣的消除类手机游戏如果你在，等车、排队、闲暇时间太无聊，那就开始玩一把游戏能满足你，可以随时随地的开始你的游戏，一款轻松闯关的休闲游戏，爱上消消消游戏为不同人群打造，可以打发时间。
3、是一款休闲很有魔性的休闲小游戏，与其他纸娃娃疯狂血拼，拿回更多的物品。游戏玩法简单，卡通的画面，喜欢购物吗?我们一起为购物而狂欢吧~好多商店等着你解锁呢~趣味十足，更多精彩游戏内容下载体验吧~
4、游戏中有非常多个性十足的角色卡牌等待着玩家来收集，每张卡牌都十分的强大。
5、自由的展开自己猫咪大战，各种华丽炫酷超高难度的格斗技巧。开博体育.(中国)官方网站下载-开博体育.(中国)官方网站免费下载安卓版
1、快感十足的战斗的打击感，刺激的竞技的忍者战场。
2、各种精彩的布局设计和各种全屏的游戏感受。
3、是一款角色扮演游戏，以宫廷风为元素的养成游戏。想知道宫廷的格格是怎么生活的吗?这款游戏带给你真实宫廷生活体验，经典剧情在这里开始，玩家可以发挥想象力，自由搭配自己的华丽服装，喜欢大清格格的可以下载体验哦!
4、是一款非常好玩的恋爱剧情游戏。主要以二次元为主题风格，多种主线发展模式多种不同的结局，人物都非常的好看，众多角色任由玩家挑选；甜美的恋爱故事从这里开始，精彩的玩法，趣味的冒险，玩家可以尽情享受游戏世界！！！
5、众多精心设计的游戏关卡，等待着你来挑战，获取更多丰厚的游戏奖励和惊喜。
查看全部
预计，6月4日08时至5日08时，云南东南部、广西东部和南部、广东西部等地部分地区有大到暴雨，其中开博体育.(中国)官方网站，广西东南部、广东西南部沿海等地部分地区有大暴雨(100～180毫米)。上述部分地区伴有短时强降水(最大小时降雨量30～50毫米，局地可超过80毫米)，局地有雷暴大风等强对流天气。中央气象台6月4日06时继续发布暴雨黄色预警。
“吸引中国企业赴美建厂 再窃取知识产权” 美国专家自曝“最好办法”
发布日期: 2026-01-03
开博体育.(中国)官方网站
扫一扫安装
豌豆荚发现更多
仙灵笑雯
让农村消费不断扩容升级（人民时评）开博体育.(中国)官方网站
2026-01-03 08:31:16
王琼
浙江温州：鹿城五大新地标开工 总投资308亿开博体育.(中国)官方网站
2026-01-03 08:31:16
仙灵敏叡
第一观察·现场 | 春季中国元首外交精彩纷呈
2026-01-03 08:31:16
雾都柯佳
内河船舶编队航行技术及应用示范项目启动
2026-01-03 08:31:16
姚望之
六月人民好书榜 | 消夏：走进600年的故宫和藏着生趣与乡愁的北京胡同
2026-01-03 08:31:16 推荐