6月3日，昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE，性能强劲，同时推理成本更低。Skywork-MoE基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来，是首个完整将MoE Upcycling技术应用并落地的开源千亿MoE大模型，也是首个支持用单台4090服务器推理的开源千亿MoE大模型。
昆仑万维基于目前各大主流模型评测榜单评测了Skywork-MoE，在相同的激活参数量20B(推理计算量)下，Skywork-MoE能力在行业前列，接近70B的Dense模型，使得模型的推理成本有近3倍的下降。同时Skywork-MoE的总参数大小比DeepSeekV2的总参数大小要小1/3，用更小的参数规模做到了相近的能力。
有别于传统的固定系数(固定超参)的aux loss，昆仑万维在MoE训练的不同阶段让模型自适应的选择合适的aux loss超参系数，从而让Drop Token Rate保持在合适的区间内，既能做到expert分发的平衡，又能让expert学习具备差异化，从而提升模型整体的性能和泛化水平。在MoE训练的前期，由于参数学习不到位，导致Drop Token Rate太高(token分布差异太大)，此时需要较大的aux loss帮助token load balance；在MoE训练的后期，昆仑万维希望Expert之间仍保证一定的区分度，避免 Gating倾向为随机分发Token，因此需要较低的aux loss降低纠偏。
区别于Megatron-LM社区已有的EP(Expert Parallel)和ETP(Expert Tensor Parallel)设计江南官网，昆仑万维提出了一种称之为Expert Data Parallel的并行设计方案江南官网，这种并行方案可以在Expert数量较小时仍能高效的切分模型，对Expert引入的 all2all通信也可以最大程度的优化和掩盖。相较于EP对GPU数量的限制和ETP在千卡集群上的低效， EDP可以较好的解决大规模分布式训练MoE的并行痛点江南官网，同时EDP的设计简单、鲁棒、易扩展，可以较快的实现和验证。
由于first stage的Embedding计算和last stage的Loss计算，以及Pipeline Buffer的存在，流水并行下均匀切分Layer时的各stage计算负载和显存负载均有较明显的不均衡情况。昆仑万维提出了非均匀的流水并行切分和重计算Layer分配方式，使得总体的计算/显存负载更均衡，约有10%左右的端到端训练吞吐提升。
Skywork-MoE是目前能在8x4090服务器上推理的最大的开源MoE模型。8x4090服务器一共有192GB的GPU显存，在FP8量化下(weight占用146GB)，使用昆仑万维首创的非均匀Tensor Parallel并行推理方式，Skywork-MoE可以在合适的batch size 内达到2200 tokens/s的吞吐。
江南官网了解每一位英雄的技能，没有不强的英雄，只有不会的玩家。
1、是一款以丧尸为题材的手游，玩家需要建立一座对抗僵尸的城堡，游戏的画面有点恐怖哦!你将要面对许多可恶狡猾的僵尸的进攻。快去组成一队，消灭掉那些讨厌的僵尸们吧!
2、是一款模拟经营类休闲手机游戏，给你带来三国时代的经商致富之路，让玩家在乱世时代来获得更多的金钱。随心所欲想干嘛就干嘛，同时也可以发展自己在三国时期的各种不同的商业活动。
3、超大的开放式的游戏世界中不断的探索着新的场景和角落。
4、是一款不错的手机端机甲对战相关的游戏，玩家可以操作大量的坦克进行现代战争，同时又不少新型兵器等待着玩家去解锁，相信能够给喜欢这些游戏的玩家带来足够多的乐趣。
5、是一款冒险类的游戏，玩家在游戏中扮演这位被遗忘的安妮，是秩序的守护者，你将身负重大的任务，在这个叛乱的世界中，你的每一个选择都会改变这个故事的整个剧情的发展，感兴趣的玩家赶快来下载体验吧!
1、操作非常简单，玩家可以点击屏幕进行操作，感受游戏带来的无穷乐趣。
2、新作给玩家带来了全新的在线模式体验。
3、游戏中还有非常多的boss怪物等着玩家来攻略，玩家需要在一边躲避的同时一边攻击。
4、游戏中不仅采用原作动漫剧情场景，而且还有尚未解锁的多方势力角色，都在这里等你探索。
5、游戏中玩家可以玩到自己的熟悉的迪迦，就像小时候一样一起变成光。
1、是一款休闲益智的游戏，模拟了龙卷风的到来，玩家在游戏中需要控制龙卷风的移动方向，去摧毁人类的建筑等，多么刺激的游戏体验啊，指尖就可以控制的游戏。感兴趣的快来下载体验吧
2、是一款充满游戏乐趣的动作竞技类的游戏，玩家控制的龙，将进行不断的猎取，壮大且发展自己，本文给大家带来的是这个游戏的玩法介绍和分享，希望能够给大家带来足够多的帮助！
3、是一款十分考验想象力的休闲益智类手游。玩家需要想办法将小球送进相对应的杯子中，线条就是你的好帮手，随手画出的线条都可以支撑小球向前滚动，那么要怎么抵达目的地呢？快来下载，发挥想象力不断闯关吧！
4、模拟的真实的刺激的战斗场景，给你身临其境的场景体验。
5、丰富精彩的故事剧情，非常多不同的任务等待着玩家来完成，解锁更多有趣好玩的内容。江南官网下载-江南官网免费下载安卓版
1、这是一款橡皮人竞技游戏，玩家可以操控着角色进行冒险，不断的在旅途上召集和自己颜色相同的橡皮人，小心的在这里进行冒险作战，使得你的团队越大，战斗起来非常的刺激，还有更多的障碍物，玩家要小心的躲避起来，击败这里的强大的boos，上手非常的简单，有兴趣的快来下载团结行动体验吧。
2、这是一只可爱喜欢旅行的小青蛙，它有一个游览全世界的梦想，你可以帮助它实现。
3、玩家作为俱乐部得一员，需要与各位不同的赛车手展开互动。
4、玩家需要操控自己手下的蚂蚁向终点跑去，成为这里的胜利者。
5、是一款非常好玩的休闲射击手游。游戏里玩家为了保卫家园玩家需带着战机去战斗，游戏中每一个任务的难度不同，完成之后还可以获得奖励，解锁更多高级战机，邀请你的好友和你一起战斗，多种不同的装备等你来解锁！！！
查看全部
尽管端午假期出游时间长度不及“五一”，消费者依然青睐跨境旅行。飞猪平台上，今年端午假期海外邮轮、租车、包车旅游商品预订量均较去年假期翻倍增长。日本、泰国、中国香港、马来西亚、韩国、新加坡、美国、法国、中国澳门、澳大利亚等是今年端午假期出境热门目的地。出境自由行预订量占比延续“五一”黄金周态势，继续保持在80%以上。
英国下周启动加强针 非洲疫苗接种率不足3.5%｜大流行手记（9月14日）
发布日期: 2026-02-18
江南官网
扫一扫安装
豌豆荚发现更多
撒平安
大教堂、山峰、月球江南官网
2026-02-18 07:33:41
宛芙mio
共同富裕看浙里|这个村，让老房焕新生江南官网
2026-02-18 07:33:41
小松臣吖
中国移动荣获2024年信息社会世界峰会(WSIS)最高项目奖
2026-02-18 07:33:41
龚驰丽
用好技术种出好粮食
2026-02-18 07:33:41
云居春胜
李忠杰：全面推进中华民族现代文明建设
2026-02-18 07:33:41 推荐