6月3日，昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE，性能强劲，同时推理成本更低。Skywork-MoE基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来，是首个完整将MoE Upcycling技术应用并落地的开源千亿MoE大模型，也是首个支持用单台4090服务器推理的开源千亿MoE大模型。
昆仑万维基于目前各大主流模型评测榜单评测了Skywork-MoE，在相同的激活参数量20B(推理计算量)下，Skywork-MoE能力在行业前列，接近70B的Dense模型，使得模型的推理成本有近3倍的下降。同时Skywork-MoE的总参数大小比DeepSeekV2的总参数大小要小1/3，用更小的参数规模做到了相近的能力。
有别于传统的固定系数(固定超参)的aux loss，昆仑万维在MoE训练的不同阶段让模型自适应的选择合适的aux loss超参系数，从而让Drop Token Rate保持在合适的区间内，既能做到expert分发的平衡乐宝体育官方入口，又能让expert学习具备差异化，从而提升模型整体的性能和泛化水平。在MoE训练的前期，由于参数学习不到位，导致Drop Token Rate太高(token分布差异太大)，此时需要较大的aux loss帮助token load balance；在MoE训练的后期，昆仑万维希望Expert之间仍保证一定的区分度，避免 Gating倾向为随机分发Token，因此需要较低的aux loss降低纠偏。
区别于Megatron-LM社区已有的EP(Expert Parallel)和ETP(Expert Tensor Parallel)设计，昆仑万维提出了一种称之为Expert Data Parallel的并行设计方案乐宝体育官方入口，这种并行方案可以在Expert数量较小时仍能高效的切分模型，对Expert引入的 all2all通信也可以最大程度的优化和掩盖。相较于EP对GPU数量的限制和ETP在千卡集群上的低效， EDP可以较好的解决大规模分布式训练MoE的并行痛点，同时EDP的设计简单、鲁棒、易扩展，可以较快的实现和验证。
由于first stage的Embedding计算和last stage的Loss计算，以及Pipeline Buffer的存在，流水并行下均匀切分Layer时的各stage计算负载和显存负载均有较明显的不均衡情况。昆仑万维提出了非均匀的流水并行切分和重计算Layer分配方式乐宝体育官方入口，使得总体的计算/显存负载更均衡，约有10%左右的端到端训练吞吐提升。
Skywork-MoE是目前能在8x4090服务器上推理的最大的开源MoE模型。8x4090服务器一共有192GB的GPU显存，在FP8量化下(weight占用146GB)，使用昆仑万维首创的非均匀Tensor Parallel并行推理方式，Skywork-MoE可以在合适的batch size 内达到2200 tokens/s的吞吐。
乐宝体育官方入口是一款休闲益智类的滑板游戏。玩家在游戏中可以体验滑板人生的快乐，追逐滑板的自由，在这款游戏中要避免路上的障碍物，行人、街道、考验玩家真正的技术时候到了，感兴趣的玩家赶快来挑战吧~
1、是一款动作竞技游戏，你喜欢火柴人吗?这款游戏操作都非常解压，你想去江湖闯一闯吗?玩家当然在游戏中也会遇到各种各样的小怪物哦，小怪物怎么死的，由你说了算哦!还在等什么呢?
2、各种拼图挑战的图片等你来自由的选择，锻炼自己的眼力。
3、这款沙盒类的游戏，有着很多角色扮演的题材的，你需要的就是收集各种各样的证据，揭开眼前案件的的谜题，我们本页面给大家带来这个游戏特色玩法说明和详细的玩法介绍，感兴趣的玩家不要错过了！
4、游戏使一款承载了经典国粹榫卯文化的超好玩，超有趣、超有挑战性的游戏。
5、是一款日系风格风格的奇幻冒险手机游。原汁原味的剧情、超清晰的游戏画面、多样化的场景和细腻的人物，将带给你终极的视觉体验，有趣的故事背景，丰富的故事情节贯穿整个过程，以及动画制作过程，只为你展示最具原创性的日本冒险，赶快来下载体验吧！
1、多种不同的玩法元素，在这里自由装饰自己的房间感受更多趣味的体验。
2、这是一款充满着魔幻风格的游戏，玩家将要来到一个魔幻的世界，成为这里的一名战士，手拿着剑在这里战斗，将面前的敌人全部消灭掉，还有各种各样的剧情，任由你在这个世界里面探索，还是可以自由的发展自己的势力，将3D仿真的建模设计，带给你沉浸式的玩法，有兴趣的快来下载上古卷轴：刀锋体验吧。
3、灵活合理的组合搭配各种建筑和武器，能让你的战斗变得更轻松。
4、游戏中可以使用的只有部分空地，在开拓之前，您仍然需要获得成就。
5、是一款古风修仙类的游戏，且是经过蜀山传页游改变的知名游戏，以蜀山的背景展开激烈的战斗，我们也给大家带来的是相关的游戏资源和玩法说明介绍，希望能够给大家带来足够的帮助。
1、十分有趣的滑行竞技游戏，各种闯关内容给你带来无限的欢乐。
2、这是一款很是刺激热血的枪战游戏，玩家将要来到海滩边上，直接使用武器进行射击，和自己的对手在海上进行冒险，尽情的在这里探索，玩起来非常的刺激热血，有着很多的关卡等着玩家来探索，每关的设计都是不一样的，还是可以合成强大的武器，让闯关变得更加简单。有兴趣的快来下载水枪战线体验吧。
3、是一款策略塔防游戏，在游戏中，玩家攻下城堡，面对着许多怪物的袭击，冒着生命的危险和怪兽们斗智斗勇。快去升级你的建筑，让自己变得更加强大，神秘的怪物就要来了，你准备好了吗?快来下载体验吧!
4、这里有着各种精美建模的二次元的角色，展开亲密的互动。
5、是一款十分有意思的冒险闯关手游。游戏的玩法非常真实，你将化身为社畜，要用最快时间到达公司。每天需要穿过一条条街道抵达自己的公司。你会在路上遇到各种阻碍，你要尽自己最快的速度通过。如果喜欢这款游戏的玩家不要在犹豫了快来下载吧。乐宝体育官方入口下载-乐宝体育官方入口免费下载安卓版
1、游戏中还有着许多非常强大的boss，满屏的弹幕攻击，非常考验玩家的操作能力。
2、是一款即时战略的策略游戏，玩家在游戏中，可以体验现代战争的刺激，来一场刺激的海上战斗。上百艘航船，打造独一无二的航海战斗群，这是最大规模的航海战斗，感兴趣的玩家快来下载体验吧
3、是一款非常好玩的指尖精确射击的游戏。手指操作非常简单，瞄准要打击的目标，完成开枪到射击的整个过程。逼真的声音模拟，给玩家带来开枪的快感。全中的方式，换来角色金币的收集。欢迎玩家前来下载。
4、玩家将在这里开启一段全新的战斗之旅，在不断的战斗中提升自己的等级属性。
5、刺激的跨服争霸，每位玩家都可以进入，享受战斗的乐趣，快速提升。
查看全部
中新网成都6月3日电 (尧欣雨)3日，成都市人民政府新闻办公室召开“到成都街头走一走·过龙情粽意端午节”2024年端午节活动新闻发布会。发布会上，成都市文化广电旅游局机关党委书记郭德刚介绍，今年端午节期间，成都将策划推出“2+5+N+10”的全市端午节文旅活动，即2个主会场活动、5个端午主题特色民俗活动、N个城市配套活动、10条端午民俗主题精品旅游线路。
今年端午节，恰逢6月8日的2024文化和自然遗产日，也正逢高考和中考，是即将转入暑期黄金旅游季的重要节点。活动期间，成都将在全市营造可欣赏、可参与、可体验、可消费的端午文旅活动和消费场景。例如，成都市新津区南河将举行2024“天府端午龙舟会”暨第28届新津龙舟赛，再现传承千年的“龙舟竞渡”盛景；成都大邑稻乡渔歌将用最大蒸笼一次性蒸煮1万个粽子供游客品尝；成都京剧院将开展京剧《屈原》片段街头快闪等活动。
端午节期间，成都世园会主会场也将推出10大主题、共计24个项目、超过110场精彩活动，覆盖主会场的14个不同场景，其中包括端午寻香、世园十二月市、世园飞花令诗词擂台赛等6项共36场民俗特色活动。成都东部新区党工委委员、管委会副主任杨竞介绍，“值得一提的是，6月8日20点30分，我们将有2024架无人机以‘花花带你看花花’为主题进行飞行表演，点亮世园会的夜空。”
【绝！现代农业这么干】草莓住进楼房里——节约土地效益高便于管理省人工
发布日期: 2026-04-04你真的会减盐吗？家庭必备减盐技巧，赶紧用起来 | 吃出健康来
发布日期: 2026-04-04
乐宝体育官方入口
扫一扫安装
豌豆荚发现更多
潘畤
中国新冠疫苗接种量已超1500万人次 3月前有望扩至3—17岁人群乐宝体育官方入口
2026-04-04 12:07:53
空明永贺
上海本地24日新增新冠确诊1例 常住黄浦区乐宝体育官方入口
2026-04-04 12:07:53
犬走书雪
浙江台州黄岩区石人峡2名失联驴友被找到，已无生命体征
2026-04-04 12:07:53
留祐
03版要闻 - “两国关系未来发展令人期待”
2026-04-04 12:07:53
天山耀择
广西：“妇联+检察”联动 助力未成年人健康成长
2026-04-04 12:07:53 推荐