6月3日，昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE，性能强劲，同时推理成本更低。Skywork-MoE基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来，是首个完整将MoE Upcycling技术应用并落地的开源千亿MoE大模型，也是首个支持用单台4090服务器推理的开源千亿MoE大模型。
昆仑万维基于目前各大主流模型评测榜单评测了Skywork-MoE，在相同的激活参数量20B(推理计算量)下，Skywork-MoE能力在行业前列，接近70B的Dense模型，使得模型的推理成本有近3倍的下降。同时Skywork-MoE的总参数大小比DeepSeekV2的总参数大小要小1/3，用更小的参数规模做到了相近的能力。
有别于传统的固定系数(固定超参)的aux lossk-sport，昆仑万维在MoE训练的不同阶段让模型自适应的选择合适的aux loss超参系数，从而让Drop Token Rate保持在合适的区间内，既能做到expert分发的平衡，又能让expert学习具备差异化，从而提升模型整体的性能和泛化水平。在MoE训练的前期，由于参数学习不到位，导致Drop Token Rate太高(token分布差异太大)，此时需要较大的aux loss帮助token load balance；在MoE训练的后期，昆仑万维希望Expert之间仍保证一定的区分度，避免 Gating倾向为随机分发Token，因此需要较低的aux loss降低纠偏。
区别于Megatron-LM社区已有的EP(Expert Parallel)和ETP(Expert Tensor Parallel)设计，昆仑万维提出了一种称之为Expert Data Parallel的并行设计方案，这种并行方案可以在Expert数量较小时仍能高效的切分模型，对Expert引入的 all2all通信也可以最大程度的优化和掩盖。相较于EP对GPU数量的限制和ETP在千卡集群上的低效， EDP可以较好的解决大规模分布式训练MoE的并行痛点，同时EDP的设计简单、鲁棒、易扩展，可以较快的实现和验证。
由于first stage的Embedding计算和last stage的Loss计算，以及Pipeline Buffer的存在，流水并行下均匀切分Layer时的各stage计算负载和显存负载均有较明显的不均衡情况。昆仑万维提出了非均匀的流水并行切分和重计算Layer分配方式k-sport，使得总体的计算/显存负载更均衡，约有10%左右的端到端训练吞吐提升。
Skywork-MoE是目前能在8x4090服务器上推理的最大的开源MoE模型。8x4090服务器一共有192GB的GPU显存，在FP8量化下(weight占用146GB)，使用昆仑万维首创的非均匀Tensor Parallel并行推理方式，Skywork-MoE可以在合适的batch size 内达到2200 tokens/s的吞吐。
k-sport这座医院暗藏杀机，充满了危险，还隐藏着可怕的怪物，你该如何继续探险。
1、游戏虽然全部都是文字组成，依旧能给玩家带来非常强烈的代入感。
2、玩家需要通过安排一系列的课程让学生们考到满意的成绩，提高整体的升学率。
3、游戏中有众多充满特色的武器和建筑，每一个都非常的强大并且有着自己独特的功能。
4、是一款以修仙题材的RPG动作手机游戏，在游戏里你可以修炼任何功法，游戏高度还原了修真小说场景，还有精致唯美的场景动态以及逼真的NPC人物造型，在本游戏找到志同道合好友一起闯荡修真世界一起下载畅玩，获得别样的游戏热情。
5、海量的不同的极品的神装等你来自由的解锁和领取。
1、与你的幸存者小队伙伴一起并肩作战，消灭所有的僵尸，逃离这个危险的地方。
2、还有各种海量的各种不同的关卡任务等你来完成。
3、这里的整个探险过程非常的极端，每个人都有很好的经验和战斗力。
4、是一款休闲益智的游戏。玩家在游戏中需要点击移动小球，在这个路途上要避免障碍物，加快速度击败所有的小球，游戏操作非常的简单，但趣味十足哦!给你带来3D的视觉体验，快来下载吧!
5、是一款角色扮演的玄幻手游，这是一个未知的玄幻世界，游戏中，玩家将要来到的就是这样的一个世界，还原了经典的东方玄幻世界。快来玩这款游戏，上古神兽，魔神、毒龙等等都会在这里看得到，来一场刺激的战斗体验~
1、游戏背景音乐很好，能够给你带来身临其境的游戏代入感。
2、游戏的玩法十分类似与奇迹MU，让玩家体验不一样的魔幻风格游戏。
3、丰富的游戏玩法，不同的音乐会带来的完全不同游戏体验。
4、是一款翘课解谜游戏，仿佛回到了上学时代，想尽办法逃课的你是怎么做到不被老师发现，轻松逃课的呢?很有魔性的游戏体验，是时候发挥你的小聪明了，在老师的追击下，该怎么把老师甩掉呢~更多精彩内容下载体验吧!
5、这是一款自由度非常高的冒险题材手游，你可以在世界各地进行自由探险，与不同国家的人进行交流，体验当地的趣味文化，同时你也可以把自己打扮成符合当地风格的形象。游戏的玩法非常有意思。如果喜欢这款游戏的小伙伴不要在犹豫了快来下载吧。k-sport下载-k-sport免费下载安卓版
1、各种精心设计的关卡挑战，各种可爱萌趣的猫咪。
2、是一款萌宠养成类手游。超萌的游戏画面以及特色的养成玩法，海量的萌宠任由玩家收集搭配，还提供了众多关卡冒险，炫酷刺激的技能释放，精美的地图和劲爆的打斗；为玩家展现一个全新的奇幻世界！喜欢的朋友来试试吧~
3、两张完全不同的操作模式，给玩家带来不一样的游戏体验，尽情享受游戏的无穷乐趣。
4、游戏中玩家可以选择一名NPC参加选美大赛，化妆与穿搭由玩家决定。
5、是一款休闲益智类的游戏，这款游戏十分的搞笑有趣，魔性十足的脑筋急转弯的一款游戏。还原了经典的校园考试场景，最坑爹的游戏，玩家需要在游戏中寻找考试作弊的同学，感兴趣的玩家快来下载体验吧!
查看全部
据悉，黑龙江省退役军人事务厅通过以退役军人事务部门与社会力量共建为主、以部门自建为补充的方式，在G331国道“北极-东极”段建设35家尊崇式示范型龙江老兵驿站，为军人军属、退役军人和其他优抚对象及广大游客提供旅游公益服务、拥军优属服务、就业创业服务，打造黑龙江退役军人服务保障与特色文化旅游深度融合发展新亮点。
观天下·巴以冲突 | 以媒：以军在加沙设“杀伤区” 入者“会被射杀”
发布日期: 2025-11-18张业遂：从宪制层面对完善香港特区选举制度作出决定是全国人民代表大会的权力和责任
发布日期: 2025-11-18
k-sport
扫一扫安装
豌豆荚发现更多
幽花秋花
消息称任天堂将把 NGC 平台经典游戏《星际火狐：突击》搬上 Switch 2k-sport
2025-11-18 23:12:05
释慧性
特朗普入驻TikTokk-sport
2025-11-18 23:12:05
强至
台湾地区领导人“5·20”讲话是彻头彻尾的“台独自白”
2025-11-18 23:12:05
云居痴安
跑好新春“第一棒”——山东重大项目建设一线扫描
2025-11-18 23:12:05
五河瑞云
起飞前，她坚持要下飞机
2025-11-18 23:12:05 推荐