6月3日，昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE，性能强劲，同时推理成本更低。Skywork-MoE基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来，是首个完整将MoE Upcycling技术应用并落地的开源千亿MoE大模型，也是首个支持用单台4090服务器推理的开源千亿MoE大模型。
昆仑万维基于目前各大主流模型评测榜单评测了Skywork-MoE，在相同的激活参数量20B(推理计算量)下，Skywork-MoE能力在行业前列，接近70B的Dense模型，使得模型的推理成本有近3倍的下降。同时Skywork-MoE的总参数大小比DeepSeekV2的总参数大小要小1/3，用更小的参数规模做到了相近的能力。
有别于传统的固定系数(固定超参)的aux loss，昆仑万维在MoE训练的不同阶段让模型自适应的选择合适的aux loss超参系数，从而让Drop Token Rate保持在合适的区间内，既能做到expert分发的平衡，又能让expert学习具备差异化，从而提升模型整体的性能和泛化水平。在MoE训练的前期，由于参数学习不到位，导致Drop Token Rate太高(token分布差异太大)，此时需要较大的aux loss帮助token load balance；在MoE训练的后期，昆仑万维希望Expert之间仍保证一定的区分度，避免 Gating倾向为随机分发Token，因此需要较低的aux loss降低纠偏。
区别于Megatron-LM社区已有的EP(Expert Parallel)和ETP(Expert Tensor Parallel)设计，昆仑万维提出了一种称之为Expert Data Parallel的并行设计方案，这种并行方案可以在Expert数量较小时仍能高效的切分模型，对Expert引入的 all2all通信也可以最大程度的优化和掩盖。相较于EP对GPU数量的限制和ETP在千卡集群上的低效， EDP可以较好的解决大规模分布式训练MoE的并行痛点，同时EDP的设计简单、鲁棒、易扩展星空·综合体育官网入口，可以较快的实现和验证。
由于first stage的Embedding计算和last stage的Loss计算，以及Pipeline Buffer的存在，流水并行下均匀切分Layer时的各stage计算负载和显存负载均有较明显的不均衡情况。昆仑万维提出了非均匀的流水并行切分和重计算Layer分配方式，使得总体的计算/显存负载更均衡，约有10%左右的端到端训练吞吐提升。
Skywork-MoE是目前能在8x4090服务器上推理的最大的开源MoE模型。8x4090服务器一共有192GB的GPU显存，在FP8量化下(weight占用146GB)，使用昆仑万维首创的非均匀Tensor Parallel并行推理方式，Skywork-MoE可以在合适的batch size 内达到2200 tokens/s的吞吐。
星空·综合体育官网入口还有精彩的原创的游戏的剧情故事等你来感受，体验不同的时光。
1、是一款非常有趣的休闲游戏，界面简洁，操作易懂。玩家需要在游戏中解开层层谜题，不过想要轻松的通过游戏可不是那么简单的；过程中很是烧脑，来下载试试吧，算是给自己一个挑战的机会噢~
2、各种新奇有趣的战斗画面，玩家需要不断地感受。
3、收集材料制作各种各样武器，来保护自己的安全，在木筏上努力的生存。
4、在探索的过程中，你会发现很多难以想象的、千变万化的预言。
5、各种经典帅气酷炫的赛车可供玩家选择，各种跑车绝对让玩家玩到爽。
1、真实的冲击效果会让车辆的细节更加真实，呈现出更好的画面。
2、各种活灵活现的角色惊喜登场，来一场生动有趣的互动。
3、玩家在赛道上不断地hi赛自己的汗水和魅力。
4、每一个的角色都有自己的专属剧情故事，解锁更多的游戏内容。
5、玩家在游戏中可以同时进行多场战斗，为了提高你的效率，一次最多可以开启四场战斗。
1、游戏的开放式玩法，玩家可以自由的在城市中探索闯荡，解锁更多有趣好玩的玩法和内容。
2、是一款非常经典的策略动作手机游戏，游戏有着非常多的职业，可以给玩家带来多重体验，游戏的画面非常的精致，玩家可以邀请队友对战，欢迎感兴趣的玩家在本页面下体验。
3、每一位英雄都有着自己独特的技能和羁绊，自由的组合搭配构建更多有趣的阵容。
4、这是一款有趣的僵尸题材射击类手游，游戏的射击玩法非常有趣，人物的建模也十分棒。这款僵尸狙击手死宅游戏拥有逼真的场景，高度自由的枪战射击玩法，玩家们在这里能够体验不一样的射击乐趣。如果喜欢这款游戏的小伙伴不要在犹豫了快来下载吧。
5、游戏中有超过9种不同的种族和职业，玩家可以自由的选择喜欢的角色。星空·综合体育官网入口下载-星空·综合体育官网入口免费下载安卓版
1、是一款射击类游戏，卡通的游戏画面，这款游戏玩起来简单易上手，趣味十足。玩家需要在游戏中把所有的怪物用炮弹杀死，快去用你的炮弹杀死怪物，取得最后的胜利吧~感兴趣的快来下载体验吧!
2、游戏中的主角收到愚公移山的想法影响，有着无限的下一代可以让玩家挥霍。
3、是一款以丧尸为素材的游戏，玩家扮演的是邪恶的坏人，玩家要去攻打那些正义派的朋友，他们被丧尸化了，你可以在这里发挥你的坏人能力，这么有趣的玩法，刺激的体验，快来下载试玩吧!
4、是一款古风武侠竞技类手游。本作展现了一个充满了中国风色彩的武侠世界；玩家将在这个江湖中开始闯荡，成为一名真正的侠客是你的目标；丰富的游戏剧情、跌宕起伏的剧情任务和身临其境斗战冒险，带有极强的游戏性和趣味性！
5、还有各种丰富的资源等你收集，制作各种需要的用品。
查看全部
通报称，根据前期线索，总队执法人员实地摸排湛江市南三镇大王庙附近海域非法拖螺船情况。6月2日下午，执法人员综合分析研判，锁定上货黑点为南三镇大王庙附近造船厂，调派直属三支队、湛江支队海陆并进开展突击行动。陆上执法组乘执法车赶赴该造船厂附近隐蔽蹲守，派出执法人员乔装村民在上货点附近观察，实施陆路拦截。
劳动者之歌丨“南海救115”轮：托起200万平方公里的生命希望
发布日期: 2026-04-04斯坦福AI团队“套壳”清华系开源大模型被实锤！被揭穿后全网删库跑路
发布日期: 2026-04-04半导体设备行业动态报告：大基金三期落地 看好半导体设备先进制程需求放量国产替代加速
发布日期: 2026-04-04
星空·综合体育官网入口
扫一扫安装
豌豆荚发现更多
秋庭冴
定制农田“营养餐”、开展无人机作业……各地春耕春管“科技范”满满星空·综合体育官网入口
2026-04-04 10:53:13
怀心凡云
三峡集团发布《践行绿色低碳生活 共建人类美丽家园》倡议星空·综合体育官网入口
2026-04-04 10:53:13
婵娟酱吖
城市漫步让“有趣的灵魂”彼此相遇
2026-04-04 10:53:13
暨新雅
2021年两会前瞻：历史交汇点上的中国信号
2026-04-04 10:53:13
千花半莲
“老虎”刘星泰任上被查！曾称“当干部不能太舒服”
2026-04-04 10:53:13 推荐