6月3日，昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE，性能强劲，同时推理成本更低。Skywork-MoE基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来，是首个完整将MoE Upcycling技术应用并落地的开源千亿MoE大模型，也是首个支持用单台4090服务器推理的开源千亿MoE大模型。
昆仑万维基于目前各大主流模型评测榜单评测了Skywork-MoE，在相同的激活参数量20B(推理计算量)下，Skywork-MoE能力在行业前列，接近70B的Dense模型，使得模型的推理成本有近3倍的下降。同时Skywork-MoE的总参数大小比DeepSeekV2的总参数大小要小1/3，用更小的参数规模做到了相近的能力。
有别于传统的固定系数(固定超参)的aux loss，昆仑万维在MoE训练的不同阶段让模型自适应的选择合适的aux loss超参系数，从而让Drop Token Rate保持在合适的区间内，既能做到expert分发的平衡，又能让expert学习具备差异化，从而提升模型整体的性能和泛化水平。在MoE训练的前期，由于参数学习不到位，导致Drop Token Rate太高(token分布差异太大)，此时需要较大的aux loss帮助token load balance；在MoE训练的后期，昆仑万维希望Expert之间仍保证一定的区分度，避免 Gating倾向为随机分发Token，因此需要较低的aux loss降低纠偏。
区别于Megatron-LM社区已有的EP(Expert Parallel)和ETP(Expert Tensor Parallel)设计，昆仑万维提出了一种称之为Expert Data Parallel的并行设计方案，这种并行方案可以在Expert数量较小时仍能高效的切分模型，对Expert引入的 all2all通信也可以最大程度的优化和掩盖。相较于EP对GPU数量的限制和ETP在千卡集群上的低效， EDP可以较好的解决大规模分布式训练MoE的并行痛点，同时EDP的设计简单、鲁棒、易扩展，可以较快的实现和验证。
由于first stage的Embedding计算和last stage的Loss计算，以及Pipeline Buffer的存在，流水并行下均匀切分Layer时的各stage计算负载和显存负载均有较明显的不均衡情况。昆仑万维提出了非均匀的流水并行切分和重计算Layer分配方式，使得总体的计算/显存负载更均衡，约有10%左右的端到端训练吞吐提升。
Skywork-MoE是目前能在8x4090服务器上推理的最大的开源MoE模型。8x4090服务器一共有192GB的GPU显存，在FP8量化下(weight占用146GB)，使用昆仑万维首创的非均匀Tensor Parallel并行推理方式，Skywork-MoE可以在合适的batch size 内达到2200 tokens/s的吞吐。
云体育下载app说不定还可以在这里发挥出来你隐藏的绘画天赋。
1、是一款奇幻的冒险类的游戏。玩家在游戏中可以开始一场奇幻的冒险之旅。采用了3D的高清画质，给玩家带来不一样的视觉冲击哦!有许多的职业可以选择，还有好多的特效搭配，打造属于自己的角色，快来下载体验吧!
2、游戏中玩家可以收到大量的现代人类发来的求助心情，但是这里的信息是杂乱无章的，玩家要根据这里的线索进行解谜，大量的内容你要注意找寻，只有正确的解开谜团，才算是完成任务，游戏的画质很是精致，日系的游戏风格，带给玩家不一样的剧情乐趣，有兴趣的快来下载WILL：美好世界体验吧。
3、是一款装扮小游戏，玩家可以随心所欲的换装打扮自己。想成为漂亮的公主吗?一起探索漂亮公主的奇妙旅程吧!玩家通过游戏把自己培养成出色的设计师，游戏玩法简单，感兴趣的朋友可以下载啦!
4、是一款模拟经营游戏，在游戏中，带你回到童年的时代，经营一家甜品店。简单的游戏玩法，快乐有趣的游戏体验!想学习制作甜点吗?开一家甜品店，制作各种美食，让时间就停留在此刻，享受开甜品店的美好时光!感兴趣的朋友下载体验吧!
5、玩家在这里会感受到各种新鲜有趣的游戏玩法,各种完美融合的玩法。
1、是一款休闲益智小游戏，精彩的关卡，快去发挥你的想象力挑战关卡吧!玩家只需要将积木拖到桌面，拼出完整的拼图就可以过关啦，有好多缤纷多样的彩块呢，喜欢玩拼图游戏的玩家们可以下载体验哦!
2、随着你的不断挑战，游戏的剧情也随之发展，给你趣味横生的游戏体验。
3、是一款休闲的趣味挑战游戏。玩家需控制熊二去完成一系列的洗澡任务，来一起帮助傻乎乎的熊二进行清洁任务吧！
4、就是一款以暗黑风格打造的冒险动作手游。超多丰富的内容设定等待大家的探索，特别是氛围塑造挺不错，搭配带感的背景音乐玩起来十分有意思，快来游戏中开始你的冒险旅程吧！
5、是一款跑酷游戏玩家可以，从一幢大楼跳到另一幢大楼，还可以匹配不同的游戏玩家一起竞技比赛，游戏的操作非常的多，墙跳、跳跃、猫扑、精确着陆等项目，每完成一个动作就可以变的更快。
1、是一款非常好玩的动作跑酷类手机游戏。游戏有着非常精致的游戏画面。游戏有着充满了童话的色彩，游戏有着非常真实的物理动作，欢迎感兴趣的玩家在本页面下载体验。
2、这是一款很是好玩的益智游戏，在这里可以直接使用技巧进行冒险，在这里有种大量的海洋生物，可以让孩子可以在这里了解到，玩起来很是刺激有趣，让孩子可以在这里学习知识，让孩子爱上学习知识，多元化的游戏玩法，小心的记录下知识，让孩子了解这个世界，有兴趣的快来下载贝贝探索海底世界体验吧。
3、游戏中有着超多的英雄角色，玩家可以选择自己最喜欢的一位来进行战斗。
4、根据每个人的不同特点以及个性，为他们安排专属的课程训练来提升他们的能力。
5、是一款剧情性的经营小游戏，你将扮演一位食堂的老奶奶，不断地将自己的美食做给客人吃。每天和客人谈心交流，研制自己的料理，想学习料理，做一个美食家的玩家们还不赶快下载游戏体验，做一个大家流连忘返的美食堂，把这个故事言传下去!云体育下载app下载-云体育下载app免费下载安卓版
1、清新可爱的游戏画风，和丑萌搞怪的鼻涕虫形象。
2、游戏中玩家将会扮演一名警官，在办案的过程中来到的诡异的医院中。
3、是一款萌宠养成类的策略手游，新世界的猎人冒险手游。以经典的西游为素材，喜欢西游的玩家们，可以来这里感受一下。非常的真实，每一角色都会有特定的技能哦!感兴趣的玩家快来下载挑战吧!
4、是一款非常好玩的模拟休闲卡通类型的手机游戏，游戏有着大量的关卡任务，游戏的背景音乐会人玩家感到轻松，给玩家带来不一样的游戏体验，欢迎感兴趣的玩家在本页面下载体验。
5、玩家可以使用各种各样的材料在这里自由的创作，建造各种各样的建筑设备。
查看全部
“我们面向气象导航对伏羲大模型进行优化，提高时空分辨率，实现未来15天0.1度逐小时气象预测；构建海气耦合模型，纳入风浪、涌浪、海温等要素云体育下载app，提升全球风、浪、流、能见度等预测精度；进行极端天气优化，提升台风、极端降水等更多灾害性场景的预测精度。” 李昊介绍，多层次焕然升级的“伏羲”2.0，有望助力解决远洋气象导航长期依赖国外服务厂商问题，落实“国船国导”、实现“国产替代”。
“在极端天气预报方面，伏羲通过采用扩散模型优化，有效缓解模型预报的平滑问题，提高对极端降水和大风等极端天气现象的预报精度，超越ECMWF的数值天气预报精度。” 中国气象局党组成员、副局长熊绍员指出，中国气象局高度重视气象与人工智能深度融合发展，联合相关高校、科研机构、企业共同推进气象大模型以及人工智能气象应用关键核心技术攻关。
“伏羲”的升级之路仍在继续。下一步，团队将推进“端到端”气象大模型，构建基于气象大模型的同化系统，实现多种卫星资料同化（微波、红外等），摆脱对传统模式的依赖；开发地球系统大模型，实现大气、海洋、陆面、冰冻圈的预报，探索大气污染、气候风险预报；构建基于大模型的国产化再分析数据集，利用大模型构建完全独立自主的国产化再分析数据，摆脱模型训练对国外数据的依赖。
女娲医药大模型包括DNA大模型和动态蛋白大模型。其中，DNA大模型，以全球最长序列、最细粒度的基因调控关系理解，促进生物机制的发现。它基于状态空间模型，捕捉长序列关联，构建2亿参数的DNA模型，相比DeepMind等团队发布的高精度基因表达预测模型Enformer，分辨率和调控距离提升4倍，将应用于药物靶点发现。
“伏羲”和“女娲”两大模型分别是上智院地球科学、生命科学领域的代表性成果。在物质科学领域，上智院则构建物质科学大模型，致力于数据、工具、机理融合，已构建第一性原理（QM）数据库，4000万分子构象数据库具备全球最大规模。团队开发出薛定谔方程AI求解模型，高精度近似求解薛定谔方程，拥有被称为小分子药物亲和力预测精度持平“世界最好的商用软件”薛定谔FEP+。另有AI驱动的多孔材料模型、计算物质科学通用模型。
云体育下载app
扫一扫安装
豌豆荚发现更多
小雅宁吖
全面深化改革开放，为中国式现代化持续注入强劲动力云体育下载app
2026-04-04 12:24:50
Bing Bert
广西岑溪市突发洪水 目前已致1人失联云体育下载app
2026-04-04 12:24:50
雾水静娴
韩剧内在美片段
2026-04-04 12:24:50
一条小金五
辽宁省沈阳市人大常委会原主任付忠伟一审获刑15年
2026-04-04 12:24:50
卢氏
江西6个地理标志区域品牌入选全国百强
2026-04-04 12:24:50 推荐