6月3日，昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE，性能强劲，同时推理成本更低。Skywork-MoE基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来，是首个完整将MoE Upcycling技术应用并落地的开源千亿MoE大模型，也是首个支持用单台4090服务器推理的开源千亿MoE大模型。
昆仑万维基于目前各大主流模型评测榜单评测了Skywork-MoE，在相同的激活参数量20B(推理计算量)下，Skywork-MoE能力在行业前列，接近70B的Dense模型，使得模型的推理成本有近3倍的下降。同时Skywork-MoE的总参数大小比DeepSeekV2的总参数大小要小1/3，用更小的参数规模做到了相近的能力。
有别于传统的固定系数(固定超参)的aux loss，昆仑万维在MoE训练的不同阶段让模型自适应的选择合适的aux loss超参系数，从而让Drop Token Rate保持在合适的区间内，既能做到expert分发的平衡，又能让expert学习具备差异化，从而提升模型整体的性能和泛化水平。在MoE训练的前期，由于参数学习不到位，导致Drop Token Rate太高(token分布差异太大)，此时需要较大的aux loss帮助token load balance；在MoE训练的后期，昆仑万维希望Expert之间仍保证一定的区分度，避免 Gating倾向为随机分发Token，因此需要较低的aux loss降低纠偏。
区别于Megatron-LM社区已有的EP(Expert Parallel)和ETP(Expert Tensor Parallel)设计，昆仑万维提出了一种称之为Expert Data Parallel的并行设计方案，这种并行方案可以在Expert数量较小时仍能高效的切分模型，对Expert引入的 all2all通信也可以最大程度的优化和掩盖。相较于EP对GPU数量的限制和ETP在千卡集群上的低效， EDP可以较好的解决大规模分布式训练MoE的并行痛点，同时EDP的设计简单、鲁棒、易扩展，可以较快的实现和验证。
由于first stage的Embedding计算和last stage的Loss计算manbetx官网，以及Pipeline Buffer的存在，流水并行下均匀切分Layer时的各stage计算负载和显存负载均有较明显的不均衡情况。昆仑万维提出了非均匀的流水并行切分和重计算Layer分配方式，使得总体的计算/显存负载更均衡，约有10%左右的端到端训练吞吐提升。
Skywork-MoE是目前能在8x4090服务器上推理的最大的开源MoE模型。8x4090服务器一共有192GB的GPU显存，在FP8量化下(weight占用146GB)，使用昆仑万维首创的非均匀Tensor Parallel并行推理方式，Skywork-MoE可以在合适的batch size 内达到2200 tokens/s的吞吐。
manbetx官网是一款动作竞技游戏，玩家需要消灭好多怪物，获得奖励。还有好多厉害的武器，等你解锁哦，旋转战斗是什么样的体验，发挥你的超能力去消灭巨大boss和小怪物吧!成为最厉害的旋转大师，感兴趣的下载体验消灭怪物的快感吧~
1、玩家也可以凭借自己的实力挖掘出更多的宝物，进行各种调查。
2、在这里有着非常多的障碍物和外界因素干扰，开动你的大脑尽情享受精彩有趣的闯关过程。
3、是一款休闲模拟学校生活的游戏，玩家将要在游戏中，体验大学生的生活乐趣所在，完成各种任务，游戏中有许多种角色可以扮演，你可以选择自己喜欢的角色挑战，想体验大学生活的玩家可以来下载了!
4、火爆的日系动漫画风动作手游，与可爱的战斗美少女们并肩作战。
5、回合制的玩法让玩家可以轻松上手，根据不同的战局来决定使用的精灵。
1、每个角色都有着独特的技能，上百种不同的阵容搭配，在这里见招拆招战胜更多的敌人。
2、游戏的玩法非常的丰富，相信玩家在游戏中绝不会感到枯燥。
3、是一款以丧尸为题材的策略型游戏，玩家需要运用策略，烧脑，来玩这款游戏，末日来临了，你准备好了吗?与僵尸战队战斗吧!在这里，你可以遇到志同道合的人一起对抗僵尸们!
4、这里隐藏着各种不同的神秘的幻想元素，感受不一样的新鲜感。
5、是一款非常好玩的冒险射击动作类型的手机游戏。游戏有着重力机制，游戏有着非常真实的物理，游戏的画面非常的简洁，玩家还可以收集武器，欢迎感兴趣的玩家在本页面下载体验。
1、完成各种不同的任务，解锁更多有趣好玩的游戏玩法和内容。
2、超高清的画质享受，清新可爱的游戏卡通画风。
3、玩家需要拥有精湛的射击技术，通过不断地射击来提升自己。
4、你将掌控整个世界的发展，在游戏中你将成为这个虚拟世界的额主宰。
5、各种丰富内容的关卡制度，和丰厚的闯关奖励。manbetx官网下载-manbetx官网免费下载安卓版
1、一款RPG格斗手游。游戏里富含各类模拟养成和社交休闲玩法，对于原作世界观高度还原，各种剧情结果每一个选择都可能带来惊喜；随着游戏进程的推进，玩家会真正融入到剧情中去。感兴趣的话就一起来期待！
2、一局游戏的时间非常的短，简单的操作让玩家可以轻松体验全新塔防。
3、灵活合理的组合搭配各种建筑和武器，能让你的战斗变得更轻松。
4、一步一步提升你的酿造技巧升级你的设备，成为最厉害的酿酒师。
5、奇特的坦克款式和性能，超强的武力值，和武器装备的高配置。
查看全部
借助港澳山东周等平台，并与“好品山东 鲁贸全球”市场开拓行动相衔接，山东不断强化与港澳的经贸、金融联系。统计数据显示，今年前4个月，山东对香港进出口277亿元，增长51%；对澳门进出口2.2亿元，增长103.8%。截至4月底，在港交所主板上市的山东企业共有55家，融资总额超过720亿港元。2023年，香港在山东直接投资123.5亿美元，约占山东吸引外资的70.5%；山东新设澳门投资企业27家，实际使用澳资100万美元。
此次港澳山东周的举办，体现着三地推动高水平合作的共同愿景。香港特区行政长官李家超表示，香港会继续当好“超级联系人”和“超级增值人”，善用“引进来、走出去”的优势平台，持续助推内地企业走向世界。贺一诚表示，期望澳鲁两地继续加强旅游、大健康、教育、工业等多领域交流合作，同行并进、互利共赢。林武表示，山东的发展离不开广大金融机构的大力支持，希望大家进一步加大在鲁布局力度，积极参与山东清洁能源体系建设、基础设施建设等，推动资本向重点领域、重要产业、重大项目集聚，在“双向奔赴”中实现更大发展。
中山大学旅游学院院长徐红罡：提升供给水平，让旅游业助力大湾区发展
发布日期: 2026-04-04
manbetx官网
扫一扫安装
豌豆荚发现更多
深渊飞扬
广东启动防汛Ⅳ级应急响应manbetx官网
2026-04-04 11:06:35
智超可爱吗
ForceSCADA | 丰富的电力行业套件，保障电...manbetx官网
2026-04-04 11:06:35
张志道
文脉华章 | 听总书记讲中华文明的特性
2026-04-04 11:06:35
俊慧丶小可爱
问题公司步步走低 130股市值不足20亿
2026-04-04 11:06:35
西行寺如冰
喜看春节档票房观影人次创新高
2026-04-04 11:06:35 推荐