6月3日,昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE,性能强劲,同时推理成本更低。Skywork-MoE基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来,是首个完整将MoE Upcycling技术应用并落地的开源千亿MoE大模型,也是首个支持用单台4090服务器推理的开源千亿MoE大模型。
昆仑万维基于目前各大主流模型评测榜单评测了Skywork-MoE,在相同的激活参数量20B(推理计算量)下,Skywork-MoE能力在行业前列,接近70B的Dense模型,使得模型的推理成本有近3倍的下降。同时Skywork-MoE的总参数大小比DeepSeekV2的总参数大小要小1/3,用更小的参数规模做到了相近的能力。
有别于传统的固定系数(固定超参)的aux loss,昆仑万维在MoE训练的不同阶段让模型自适应的选择合适的aux loss超参系数,从而让Drop Token Rate保持在合适的区间内,既能做到expert分发的平衡,又能让expert学习具备差异化,从而提升模型整体的性能和泛化水平。在MoE训练的前期,由于参数学习不到位,导致Drop Token Rate太高(token分布差异太大),此时需要较大的aux loss帮助token load balance;在MoE训练的后期,昆仑万维希望Expert之间仍保证一定的区分度,避免 Gating倾向为随机分发Token,因此需要较低的aux loss降低纠偏。
区别于Megatron-LM社区已有的EP(Expert Parallel)和ETP(Expert Tensor Parallel)设计,昆仑万维提出了一种称之为Expert Data Parallel的并行设计方案,这种并行方案可以在Expert数量较小时仍能高效的切分模型,对Expert引入的 all2all通信也可以最大程度的优化和掩盖。相较于EP对GPU数量的限制和ETP在千卡集群上的低效, EDP可以较好的解决大规模分布式训练MoE的并行痛点,同时EDP的设计简单、鲁棒、易扩展,可以较快的实现和验证。
由于first stage的Embedding计算和last stage的Loss计算uedbet娱乐体育(中国)-官方网站,以及Pipeline Buffer的存在,流水并行下均匀切分Layer时的各stage计算负载和显存负载均有较明显的不均衡情况。昆仑万维提出了非均匀的流水并行切分和重计算Layer分配方式,使得总体的计算/显存负载更均衡,约有10%左右的端到端训练吞吐提升。
Skywork-MoE是目前能在8x4090服务器上推理的最大的开源MoE模型。8x4090服务器一共有192GB的GPU显存,在FP8量化下(weight占用146GB),使用昆仑万维首创的非均匀Tensor Parallel并行推理方式,Skywork-MoE可以在合适的batch size 内达到2200 tokens/s的吞吐。
uedbet娱乐体育(中国)-官方网站想要吃鸡还是要靠和队友组队,互相配合才能够更好的打败对手。
1、不管是单人通关,还是与好友PK都是十分有趣的,从此告别无聊的日常。
2、魔法装备可以大大提升你的魔法战力,丰富的玩法也很不错。
3、操作简单容易上手,不管是新手还是老手都可以一键畅玩。
4、一款疯狂赛车类手游。玩家会拥有属于自己的爱车,和其他赛车手有一场速度上的对决;穿过城市的街道,掌控好你的方向盘,漂移是你的拿手技能;随着游戏的进度也会越来越难,在这令人热血沸腾的赛车竞速中获得胜利吧!
5、各种全新的挑战模式等你来不断的完成自己的冒险。
1、玩家会看到各种不同的形象特征的角色人物。
2、游戏是一款模拟经营型游戏,在游戏中所以医生通过招聘来获得,不同的学历会影响考试通过的概率,很有真实性的游戏玩法,塑造了医生的角色很好!相当一名出色的医生就快去下载体验吧!
3、定期举办各种不同的活动比赛,鼓励学生们学习的积极性,让他们更加用功学习。
4、超高自由度的玩法,逼真的游戏画面,给你带来超强的沉浸式体验。
5、是一款末日题材的3D手游,曾经繁荣的人类文明,几乎在地球上失去了痕迹,玩家在游戏中扮演指挥官,带领人类最后的希望,对抗被侵蚀的机械大军。这款游戏热度还不错,欢迎玩家前来本页面下载吧!
1、是一款非常有意思的跑酷类的休闲题材游戏,该作控制的不是人而是要你去操控雪球。这里以雪地为背景,采用了竖屏的模式,方便玩家进行操作,游戏的玩法非常有意思,感觉很棒。随着游戏的进行,雪球也会随之增大,操控会越来越困难。如果喜欢这款游戏的玩家不要在犹豫了快来下载吧。
2、精美的游戏界面,给你全新的别样的热情,有很多经典场景重现眼睛。
3、游戏绝不会让玩家觉得无聊,超多精彩烧脑的机关谜题等待着玩家来破解。
4、从业余小偷到职业高科技罪犯,玩家需要使用各种工具。
5、玩家在这里会自由的建造自己的海岛世界。uedbet娱乐体育(中国)-官方网站下载-uedbet娱乐体育(中国)-官方网站免费下载安卓版
1、超多丰富的武器可以选择,感受最激情热血的战斗体验。
2、丰富的任务挑战超级多有趣烧脑的解谜关卡等你来破解,领取丰厚的奖励。
3、自由的租房来提升自己的资金来源,收获更多的投资。
4、是一款非常好玩的策略类手游。整个游戏的玩法丰富独特,众多的战舰供玩家选择,玩家需驾驶战舰在海洋上驰骋作战,去享受全新的二战游戏内容;宏大的地图场景,3D高清立体的游戏场景,给你最真实的战争体验!光想想就觉得十分刺激!!!
5、这款游戏带给我们更多不一样的合成游戏体验,同时在这款游戏中,你能享受到最刺激的游戏乐趣,也许你永远也不会想到,其中有着这么多不一样的玩法,各种模式都让我们感受到最刺激的游戏乐趣,不用再犹豫了,喜欢的小伙伴快来全球手游网下载吧。
查看全部
跨境电商是我国外贸发展的有生力量,也是国际贸易发展的重要趋势。近年来,跨境电商与海外仓等新型外贸基础设施协同联动,发展速度快、增长潜力大、带动作用强。商务部表示,下一步将会同有关部门、各地方抓好落实。赋能产业发展,依托我国165个跨境电商综试区,结合各地的产业禀赋和区位优势,带动产业带更多企业利用跨境电商参与国际贸易。加大主体培育,指导跨境电商综试区积极培育链主企业,引领上下游中小企业数字化改造。举办外贸新业态专题培训,加强能力建设。加强交流借鉴,召开跨境电商综试区现场会,加强典型案例和经验交流。提升行业自律水平,引导有序竞争。营造良好环境,积极参与国际多双边合作,在自贸协定谈判、联委会和混委会等工作机制项下,加入跨境电商议题。支持跨境电商综试区、行业、企业积极开展国际交流与合作。
当名画《拾穗者》PK《千里江山图》,你觉得哪幅画在你心中更胜一筹?
发布日期: 2026-04-04uedbet娱乐体育(中国)-官方网站
扫一扫安装
豌豆荚发现更多
康进之
暴雨继续影响广西广东,未来三天华北东北多阵雨天气uedbet娱乐体育(中国)-官方网站
2026-04-04 15:19:23
北海星光
前男友恋爱了找了个比我条件好的,我情绪很差时而反扑怎么办?uedbet娱乐体育(中国)-官方网站
2026-04-04 15:19:23
碧水诗谣
允许乌使用美武器打击俄目标?俄官员呼吁美严肃对待俄警告
2026-04-04 15:19:23
阳正卿
请市民商户来“找茬” 优化营商环境成“新春第一会”关键词
2026-04-04 15:19:23
宫古白松
加快生产生活方式绿色转型
2026-04-04 15:19:23 推荐