6月3日，昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE，性能强劲，同时推理成本更低。Skywork-MoE基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来，是首个完整将MoE Upcycling技术应用并落地的开源千亿MoE大模型，也是首个支持用单台4090服务器推理的开源千亿MoE大模型。
昆仑万维基于目前各大主流模型评测榜单评测了Skywork-MoE，在相同的激活参数量20B(推理计算量)下，Skywork-MoE能力在行业前列，接近70B的Dense模型，使得模型的推理成本有近3倍的下降。同时Skywork-MoE的总参数大小比DeepSeekV2的总参数大小要小1/3，用更小的参数规模做到了相近的能力。
有别于传统的固定系数(固定超参)的aux loss，昆仑万维在MoE训练的不同阶段让模型自适应的选择合适的aux loss超参系数，从而让Drop Token Rate保持在合适的区间内，既能做到expert分发的平衡，又能让expert学习具备差异化，从而提升模型整体的性能和泛化水平。在MoE训练的前期，由于参数学习不到位，导致Drop Token Rate太高(token分布差异太大)，此时需要较大的aux loss帮助token load balance；在MoE训练的后期，昆仑万维希望Expert之间仍保证一定的区分度，避免 Gating倾向为随机分发Token，因此需要较低的aux loss降低纠偏。
区别于Megatron-LM社区已有的EP(Expert Parallel)和ETP(Expert Tensor Parallel)设计，昆仑万维提出了一种称之为Expert Data Parallel的并行设计方案，这种并行方案可以在Expert数量较小时仍能高效的切分模型，对Expert引入的 all2all通信也可以最大程度的优化和掩盖。相较于EP对GPU数量的限制和ETP在千卡集群上的低效， EDP可以较好的解决大规模分布式训练MoE的并行痛点，同时EDP的设计简单、鲁棒、易扩展，可以较快的实现和验证。
由于first stage的Embedding计算和last stage的Loss计算，以及Pipeline Buffer的存在，流水并行下均匀切分Layer时的各stage计算负载和显存负载均有较明显的不均衡情况。昆仑万维提出了非均匀的流水并行切分和重计算Layer分配方式，使得总体的计算/显存负载更均衡，约有10%左右的端到端训练吞吐提升。
Skywork-MoE是目前能在8x4090服务器上推理的最大的开源MoE模型。8x4090服务器一共有192GB的GPU显存，在FP8量化下(weight占用146GB)，使用昆仑万维首创的非均匀Tensor Parallel并行推理方式，Skywork-MoE可以在合适的batch size 内达到2200 tokens/s的吞吐。
od体育在线平台手机版是一款魔幻冒险类的游戏。玩家在这里即将开始一场魔幻的冒险旅程，这是一个卡牌挂机探险的游戏，轻松玩游戏，自由搭配组合，全方位的魔幻探险之旅就要开始了，赶快来下载体验吧!
1、游戏中还有非常多的关卡和深渊，每一层都有着不一样的设定和事件，让你充满新鲜感。
2、不仅有远古怪兽威胁你的安全，还会有原始部落在你四周徘徊。
3、游戏中有着非常多不同的角色等待着与玩家来相遇，与她们一起开启一段全新的冒险。
4、这款游戏可以收集各种小动物并照顾好它们，陪它们快乐地成长，进行各种亲密的互动，选择玩家喜欢的小宠物，他成长缓慢，饮食管理和日常生活都需要照顾好，并允许他们繁衍后代。不用再犹豫了，喜欢的小伙伴快来全球手游网下载吧。
5、游戏是一款非常好玩的趣味欢乐解谜类型的手机游戏，这款游戏有着非常多的谜题案件，给玩家带来不一样的游戏体验，欢迎感兴趣的玩家在本页面下载神探小秀才体验。
1、多种天气变化系统，给你最真实的自然环境，努力适应并生存下去。
2、最大的亮点，奇葩的英雄设定，各种好玩的道具等你来体验。
3、是一款非常好玩的3D动作卡牌手机游戏，游戏高度还原历史名将英姿。真实的物理战斗动作，游戏还有各类只需要玩家本身的主线副本和挑战副本以外，也有组队副本，那么这个组队副本究竟是怎么操作的呢。
4、是冒险RPG养成手游。玩家将跟随游戏进入到奇幻的动漫世界，本作拥有纯真的故事剧情，Q萌的宠物角色，还有各种有趣的日常；玩家需要收集众多萌宠，不断进阶升级，最终打战最强战队！赶紧来培养自己的萌宠精灵！
5、是一款策略类的放置挂机手游，游戏玩起来非常的有趣，游戏的操纵非常的简单，每一次升级，替换装备，都会很容易。魔幻的风格，魔幻养成类挂机手游，有喜欢的吗?赶快来下载挑战吧!
1、经典像素风，给你最纯正的儿时记忆
2、像艺术品一样的治愈系手游。游戏为我们展现了一个光影追逐的故事，舒缓配乐与唯美画面的结合让玩家更容易融入游戏中的世界，定会带给你超棒的游戏体验！感兴趣的玩家可以下载体验一下相信游戏一定不会让你失望！
3、各种字符有不同的造型供你选择，感受你在游戏中的百变造型。
4、是一款策略游戏，以僵尸为题材设计的一款游戏。玩家需要建立新的武器，阻止僵尸的入侵，为了生存，我们要和僵尸战斗，城市的安危掌握在你手中了，愿意和僵尸战斗，保护家园吗?下载这款游戏体验吧!
5、丰富精彩的故事剧情，非常多有趣的故事等待着玩家来探索体验。od体育在线平台手机版下载-od体育在线平台手机版免费下载安卓版
1、各种不同的赛道等待着玩家来挑战，每条赛道都充满了未知，特别的刺激。
2、游戏用一种全新的角度来让玩家更好的了解这些动漫角色，深入的了解他们的另一面。
3、吸引更多的客户前来，提高你的知名度，收入更多的盈利。
4、简称叫DNF，在国内国外也经历了十年的时间，作为一个格斗类的经典游戏，能够坚持这么久的时间，不仅仅是游戏的优秀，也是因为游戏玩家的坚持和热情，DNF也进入了新的纪元，手游也应运而生！
5、是一款非常好玩发即时策略对战类型的手机游戏，游戏支持玩家和队友一起对战，给玩家带来不一样的游戏体验，游戏有着非常精致的游戏画面还有感兴趣的玩家在本页面下载。
查看全部
中新网银川6月3日电 (记者 李佩珊)今年是中法建交60周年。日前，波尔多葡萄酒节中国首秀在北京启幕，宁夏贺兰山东麓产区组织产区15家酒庄携近百款佳酿亮相。同时od体育在线平台手机版，6月27日至30日，宁夏贺兰山东麓葡萄酒产业园区管委会还将组织贺兰山东麓酒庄前往法国参加2024波尔多葡萄酒节。这也是波尔多葡萄酒节诞生以来，首次邀请其他产区参加该活动。
“每年的波尔多葡萄酒节是面对消费者的狂欢节，此前从来没有邀请过其他产区参加，很荣幸作为第一个被邀请的产区参加此次活动。今年是中法建交60周年，也是中法文化旅游年，我们将积极促进中法两国葡萄酒的消费od体育在线平台手机版，以及宁夏、波尔多两地在技术、文化方面的交流。”宁夏贺兰山东麓葡萄酒产业园区管委会副主任徐玉波介绍，在法国2024波尔多葡萄酒节期间，还将举办宁夏波尔多友谊之夜活动，向世界展示中国葡萄酒发展的成就。同时，宁夏将邀请波尔多产区参加8月份在宁夏举办的中国(宁夏)国际葡萄酒文化旅游博览会。(完)
od体育在线平台手机版
扫一扫安装
豌豆荚发现更多
之心怡
俄外交部：俄公民布特与美国女篮运动员格里纳在阿布扎比机场完成交换od体育在线平台手机版
2026-01-03 09:16:22
玉景凌文
商务部回应美修订半导体出口管制措施od体育在线平台手机版
2026-01-03 09:16:22
喻汝砺
聚焦|张文宏：不要盼着疫苗来，疫苗真来了又不敢打
2026-01-03 09:16:22
西行寺睿才
印度总统：印中两国应努力培育睦邻友好关系
2026-01-03 09:16:22
书生半安
俄罗斯大剧院计划今明两年赴华巡演
2026-01-03 09:16:22 推荐