6月3日，昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE，性能强劲，同时推理成本更低。Skywork-MoE基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来，是首个完整将MoE Upcycling技术应用并落地的开源千亿MoE大模型，也是首个支持用单台4090服务器推理的开源千亿MoE大模型。
昆仑万维基于目前各大主流模型评测榜单评测了Skywork-MoE，在相同的激活参数量20B(推理计算量)下，Skywork-MoE能力在行业前列，接近70B的Dense模型，使得模型的推理成本有近3倍的下降。同时Skywork-MoE的总参数大小比DeepSeekV2的总参数大小要小1/3，用更小的参数规模做到了相近的能力。
有别于传统的固定系数(固定超参)的aux loss，昆仑万维在MoE训练的不同阶段让模型自适应的选择合适的aux loss超参系数，从而让Drop Token Rate保持在合适的区间内，既能做到expert分发的平衡，又能让expert学习具备差异化，从而提升模型整体的性能和泛化水平。在MoE训练的前期，由于参数学习不到位，导致Drop Token Rate太高(token分布差异太大)，此时需要较大的aux loss帮助token load balance；在MoE训练的后期，昆仑万维希望Expert之间仍保证一定的区分度，避免 Gating倾向为随机分发Token，因此需要较低的aux loss降低纠偏。
区别于Megatron-LM社区已有的EP(Expert Parallel)和ETP(Expert Tensor Parallel)设计，昆仑万维提出了一种称之为Expert Data Parallel的并行设计方案，这种并行方案可以在Expert数量较小时仍能高效的切分模型，对Expert引入的 all2all通信也可以最大程度的优化和掩盖。相较于EP对GPU数量的限制和ETP在千卡集群上的低效维基·体育， EDP可以较好的解决大规模分布式训练MoE的并行痛点，同时EDP的设计简单、鲁棒、易扩展，可以较快的实现和验证。
由于first stage的Embedding计算和last stage的Loss计算，以及Pipeline Buffer的存在，流水并行下均匀切分Layer时的各stage计算负载和显存负载均有较明显的不均衡情况。昆仑万维提出了非均匀的流水并行切分和重计算Layer分配方式，使得总体的计算/显存负载更均衡，约有10%左右的端到端训练吞吐提升。
Skywork-MoE是目前能在8x4090服务器上推理的最大的开源MoE模型。8x4090服务器一共有192GB的GPU显存，在FP8量化下(weight占用146GB)，使用昆仑万维首创的非均匀Tensor Parallel并行推理方式，Skywork-MoE可以在合适的batch size 内达到2200 tokens/s的吞吐。
维基·体育海量的地图板块等你来解锁，更多危险的秘境等你解锁。
1、奇幻的恐龙的飞行和冒险过程，给你全新的刺激的体验。
2、丰富趣味的模拟汽车的驾驶过程，不断的开启自己的冒险。
3、是一款动作策略手机游戏。流畅的及时战斗，游戏打击感十分真实和3D高清游戏体验。极具特色的魔灵石系统，7种元素属性可以搭配多种魔法技能。感兴趣的玩家在本页面下载体验。
4、这里还有非常多的挑战和任务，玩家完成后能够解锁更多有趣好玩的内容和玩法。
5、是一款以极具中国的特色的符咒玩法来为主题的手机游戏，在这款游戏之中来让大家来了解到更多的趣味的游戏的玩法，而且这款游戏是拥有着许许多多的国风特色的二次元的游戏的人物形象的，喜欢这种游戏风格的小伙伴们可以来下载这款游戏，赶快来下载体验吧！
1、是一款非常刺激的奇幻二次元手游。故事发生在奇幻的异世界，我们的主角是一名软妹子，她被莫名其妙的拉入了这场战斗，莫名其妙的成为了异世界最后的希望，莫名其妙的开启了征途冒险。如果喜欢这款游戏的小伙伴不要在犹豫了快来下载吧。
2、火爆的日系动漫画风动作手游，与可爱的战斗美少女们并肩作战。
3、海量的剧情线等你阿里参加各种挑战，感受不一样的游戏体验。
4、是一款休闲益智类的游戏，游戏模拟了面试官的剧情。在游戏中，有许多求职人员，你要严格的筛选面试人员，选出那些优秀的人员，面试官就是这样练出来的，相知道吗?快来下载体验吧!
5、梦想之旅是不安分的，所以你需要保持100%的专注。
1、欢迎大家的到来！又是拆散啊！可以说开发者们很是为各位单身狗着想了，而且越来越多的续集出现，丰富的内容也增添的越来越优秀以及精彩，想必不少伙伴是拆散情侣系列的迷了吧，那就让我们快快进入游戏中吧！
2、玩家在经营煎饼店的时候，要用自己最热情的服务去对待客人。
3、手机版是一款飞机模拟驾驶游戏。玩家在这里个游戏中就是一个飞行员，在正式成为合格的飞行员之前，玩家需要进行一系列的培训来了解飞机上的所有按键的作用，欢迎感兴趣的玩家在本页面下载体验。
4、上百款不同样式的骰子等待着玩家来解锁体验，每款骰子都非常强大。
5、每一关都有一定的时间限制，玩家消耗的时间越短，最后可以获得的积分也就越多。维基·体育下载-维基·体育免费下载安卓版
1、玩家在这里会看到各种不同的图片的模样和花样。
2、文字的校园剧情故事线的延续，发现更多的不同的内容。
3、游戏通过精美的立绘让玩家感觉到一个全新的galgame的魅力。
4、是一款非常魔性的趣味小游戏，玩家将在这款游戏中操控一群可爱的小狗，你要保持狗狗在前进的过程中不能出事，并且还要不断的收集各种各样的同类狗子，体验非常趣味的游戏玩法。如果喜欢这款游戏的玩家不要在犹豫了快来下载吧。
5、是一款搞笑又富有趣味性的休闲手游。游戏采用了可爱的彩色像素画风，以一只猫咪为主题，玩家将要帮助这只看上去总是很不爽的猫咪完成一系列的任务；玩法简单，丰富的关卡设计，还有各种有趣的活动体验，相信一定会吸引到你！
查看全部
在“世界环境日”到来之际，6月3日，北京市人民检察院召开生态保护和绿色发展工作情况通报会，会上，北京市检察院党组成员、副检察长祁治国介绍，针对生态涵养区区位特点，检察机关积极建用“非法倾倒建筑垃圾、非法采矿大数据法律监督模型”，获取数据信息309亿余条，借助卫星遥感影像等技术辅助手段推动案件办理，发现非法倾倒建筑垃圾、非法采矿点位8处，违规车辆92辆倾倒268趟次，精准聚焦违法主体。
「中国青年报」“渐冻”少年报到！学校这样安排，细节太到位……
发布日期: 2025-06-07索尼中国总裁吉田武司接受《环球时报》专访：中国给了跨国企业灵感和生命力
发布日期: 2025-06-07
维基·体育
扫一扫安装
豌豆荚发现更多
七步倩影
我国第40次南极考察圆满结束 “雪龙”返航满载而归维基·体育
2025-06-07 12:00:20
一吃就胖小冰巧
广西出现超警洪水维基·体育
2025-06-07 12:00:20
冬马柔谨
精心呵护，为未成年人打造网络安全的防火墙
2025-06-07 12:00:20
是你的奇略呀
推动食品安全高水平治理
2025-06-07 12:00:20
天神院之云
《冰球小课堂》第二集：冰球比赛和冰球礼仪
2025-06-07 12:00:20 推荐