6月3日，昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE，性能强劲，同时推理成本更低。Skywork-MoE基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来，是首个完整将MoE Upcycling技术应用并落地的开源千亿MoE大模型，也是首个支持用单台4090服务器推理的开源千亿MoE大模型。
昆仑万维基于目前各大主流模型评测榜单评测了Skywork-MoE，在相同的激活参数量20B(推理计算量)下，Skywork-MoE能力在行业前列，接近70B的Dense模型，使得模型的推理成本有近3倍的下降。同时Skywork-MoE的总参数大小比DeepSeekV2的总参数大小要小1/3，用更小的参数规模做到了相近的能力。
有别于传统的固定系数(固定超参)的aux loss，昆仑万维在MoE训练的不同阶段让模型自适应的选择合适的aux loss超参系数，从而让Drop Token Rate保持在合适的区间内半岛平台官方网站入口，既能做到expert分发的平衡，又能让expert学习具备差异化，从而提升模型整体的性能和泛化水平。在MoE训练的前期，由于参数学习不到位，导致Drop Token Rate太高(token分布差异太大)，此时需要较大的aux loss帮助token load balance；在MoE训练的后期半岛平台官方网站入口，昆仑万维希望Expert之间仍保证一定的区分度，避免 Gating倾向为随机分发Token半岛平台官方网站入口，因此需要较低的aux loss降低纠偏。
区别于Megatron-LM社区已有的EP(Expert Parallel)和ETP(Expert Tensor Parallel)设计，昆仑万维提出了一种称之为Expert Data Parallel的并行设计方案，这种并行方案可以在Expert数量较小时仍能高效的切分模型，对Expert引入的 all2all通信也可以最大程度的优化和掩盖。相较于EP对GPU数量的限制和ETP在千卡集群上的低效， EDP可以较好的解决大规模分布式训练MoE的并行痛点，同时EDP的设计简单、鲁棒、易扩展，可以较快的实现和验证。
由于first stage的Embedding计算和last stage的Loss计算，以及Pipeline Buffer的存在，流水并行下均匀切分Layer时的各stage计算负载和显存负载均有较明显的不均衡情况。昆仑万维提出了非均匀的流水并行切分和重计算Layer分配方式，使得总体的计算/显存负载更均衡半岛平台官方网站入口，约有10%左右的端到端训练吞吐提升。
Skywork-MoE是目前能在8x4090服务器上推理的最大的开源MoE模型。8x4090服务器一共有192GB的GPU显存，在FP8量化下(weight占用146GB)，使用昆仑万维首创的非均匀Tensor Parallel并行推理方式，Skywork-MoE可以在合适的batch size 内达到2200 tokens/s的吞吐。
半岛平台官方网站入口创新新颖的游戏玩法，克隆自己去战斗，感受热血的战斗体验带来的畅爽。
1、是一款战棋类策略对战手游，本作受到了非常多玩家的喜爱是有原因的；动作角色扮演融合策略冒险的玩法，有着更加精致场景画面和震撼的战斗体验；同时还包含了精彩的故事情节；玩家可以真实的体会到战斗的乐趣！
2、游戏的自由度非常的高，玩家可以在不同的场景中自由的探索，收集物资装备。
3、是一款由同名动漫改编而来的MMO类的武侠游戏。探索无限的精彩世界，感觉不一样的江湖武林，爽快的激情动作和亮眼的角色操作中沉浸在你的，完整的故事情节的设定变化多样，每一个故事给你不一样的精彩，感兴趣的小伙伴们一定要下载感受一下这个不一样的江湖。
4、游戏还有充满趣味性的消除玩法，上千的关卡等待着玩家来攻略挑战。
5、发挥自己的想象力和创造力，在这个世界中打造出不同的世界。
1、多种强大的怪物纵横，玩家需要对抗暗黑神魔的入侵。
2、是一款非常和我的模拟经营策略类型的手机游戏，这款游戏的玩法非常的特别，游戏的画质也非常的清晰精致，给玩家带来不一样的游戏体验，欢迎感兴趣的玩家在本页面下载体验。
3、海量的关卡挑战等你来接受，需要打败你的对手才能获胜。
4、游戏中上演了一个奇怪的故事。你就像一个创造者，拥有非常强大的力量。
5、一款非常不错的竞速赛车游戏。游戏有着不同的游戏模式，你可以自由的在小镇中兜风，也可以挑战关卡获得奖励。游戏有着丰富的车辆可以解锁；而且操作简单容易上手；喜欢赛车类的小伙伴赶快下载体验吧~
1、是一款休闲题材的游戏，每个人在游戏中尽情的游玩，发挥自己的聪明才智，和全球分散的好友一起探索这个充满开创力的世界，本文给大家带来的是相关游戏资源的介绍和分享。
2、战斗魅力无双，超燃至尊呈现三大新领域体验。
3、游戏是以封神世界为背景架构，玩家们可以在游戏里与各种混沌异兽一起来在游戏中战斗，玩家可以在游戏来捕捉它们与你自己一起来冒险，让它们能够来成为玩家的伙伴。在本游戏找到志同道合好友一起闯荡世界一起下载畅玩，获得别样的游戏热情
4、游戏画面有一种很特别的田园风格，生活很幸福。
5、是一款休闲益智的动作游戏。玩家在游戏中是一只可爱的兔子人，在游戏里躲避各种障碍，找到萝卜，在这个过程中会遇到意想不到的危险，是一款很有魔性的点击游戏，快去收集萝卜吧~半岛平台官方网站入口下载-半岛平台官方网站入口免费下载安卓版
1、在这里与其他玩家一决高下，展现你们精湛的操作来进行对决。
2、游戏拥有精彩丰富的剧情故事，我们将在这里慢慢解锁各种游戏事件，还有很多剧情等待解锁。
3、游戏中多种多样的职业选择可以让玩家自己的决定，每个职业都有自己的特色。
4、众多新颖玩法、闯关挑战升级、好玩有趣的糖果对赛、刺激好玩的滑道模式，让玩可以体验到更纯粹更好玩的塔防游戏。
5、小鸟们为了报复偷蛋的猪猪们一路追到了太空，在全新的地图中开启了战斗。
查看全部
坐落在固原市的宁夏师范大学，是宁夏唯一一所师范类本科院校，也是宁夏首所师范生免费教育试点学校。学校前身为1975年建立的六盘山大学，1978年，经国务院批准，在六盘山大学基础上建立固原师范专科学校，1994年更名为固原师范高等专科学校。2006年，经教育部批准更名为宁夏师范学院，升格为本科院校，2012年获得硕士专业学位研究生招生资格。建校40多年来，该校为宁夏及周边地区累计培养各类人才超过4万名。
专访｜正确改革之路为中国经济发展提供源源动能——访日本学者长谷川克之
发布日期: 2026-01-03
半岛平台官方网站入口
扫一扫安装
豌豆荚发现更多
董杞
彼得·卡瓦鸠蒂：在异国土壤传播中国艺术精神半岛平台官方网站入口
2026-01-03 06:06:39
咏春乐意
哈尔滨：近600栋历史文化建筑实现“数字孪生”半岛平台官方网站入口
2026-01-03 06:06:39
何执中
印度高温蚊子都消失
2026-01-03 06:06:39
北国东俊
人民日报社申报第34届中国新闻奖参评作品公示
2026-01-03 06:06:39
龟甲映风
青海海西：大柴旦翡翠湖引客来
2026-01-03 06:06:39 推荐