6月3日，昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE，性能强劲，同时推理成本更低。Skywork-MoE基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来，是首个完整将MoE Upcycling技术应用并落地的开源千亿MoE大模型，也是首个支持用单台4090服务器推理的开源千亿MoE大模型。
昆仑万维基于目前各大主流模型评测榜单评测了Skywork-MoE，在相同的激活参数量20B(推理计算量)下，Skywork-MoE能力在行业前列，接近70B的Dense模型，使得模型的推理成本有近3倍的下降。同时Skywork-MoE的总参数大小比DeepSeekV2的总参数大小要小1/3，用更小的参数规模做到了相近的能力。
有别于传统的固定系数(固定超参)的aux loss，昆仑万维在MoE训练的不同阶段让模型自适应的选择合适的aux loss超参系数，从而让Drop Token Rate保持在合适的区间内，既能做到expert分发的平衡，又能让expert学习具备差异化，从而提升模型整体的性能和泛化水平。在MoE训练的前期，由于参数学习不到位，导致Drop Token Rate太高(token分布差异太大)，此时需要较大的aux loss帮助token load balance；在MoE训练的后期，昆仑万维希望Expert之间仍保证一定的区分度，避免 Gating倾向为随机分发Token，因此需要较低的aux loss降低纠偏。
区别于Megatron-LM社区已有的EP(Expert Parallel)和ETP(Expert Tensor Parallel)设计，昆仑万维提出了一种称之为Expert Data Parallel的并行设计方案，这种并行方案可以在Expert数量较小时仍能高效的切分模型，对Expert引入的 all2all通信也可以最大程度的优化和掩盖。相较于EP对GPU数量的限制和ETP在千卡集群上的低效， EDP可以较好的解决大规模分布式训练MoE的并行痛点，同时EDP的设计简单、鲁棒、易扩展，可以较快的实现和验证。
由于first stage的Embedding计算和last stage的Loss计算，以及Pipeline Buffer的存在，流水并行下均匀切分Layer时的各stage计算负载和显存负载均有较明显的不均衡情况。昆仑万维提出了非均匀的流水并行切分和重计算Layer分配方式，使得总体的计算/显存负载更均衡，约有10%左右的端到端训练吞吐提升。
Skywork-MoE是目前能在8x4090服务器上推理的最大的开源MoE模型。8x4090服务器一共有192GB的GPU显存，在FP8量化下(weight占用146GB)，使用昆仑万维首创的非均匀Tensor Parallel并行推理方式，Skywork-MoE可以在合适的batch size 内达到2200 tokens/s的吞吐。
beplay 网页版是一款以都市赛车竞技为主题的角色扮演类型手机游戏。游戏的画面有着非常精致的游戏，游戏建模仿真，让玩家带入感强烈，加上丰富的游戏剧情和任务，让玩家沉浸其中爱不释手！欢迎感兴趣的玩家在本页面下载。
1、各种趣味的模拟游戏的玩法设置，解锁着更多的趣味的资源。
2、本作是一款非常好玩的2D冒险角色扮演手游，让玩家可以体验最纯粹的游戏玩法。
3、玩家自由的在这个世界里展开属于自己的战斗和冒险。
4、游戏的恐怖气氛渲染的十分到位，搭配上昏暗的灯光和阴森的背景音乐。
5、是一款以末日生存的丧尸为题材的游戏，你将来到一个充满丧尸的世界，你要找到生存下来的人，和他们一起与丧尸战斗，保卫自己的家园是使命，是不是很刺激呢?赶快来挑战吧!
1、是一款Q版可爱动作养成手游。游戏拥有十分精致的画面，精彩的剧情故事多种战斗玩法挑战等你来参与；游戏趣味十足，专为佛系玩家打造，享受独自闯荡天涯的修仙旅程，一起开始一段神奇的武侠冒险之旅吧~
2、你还可以为你的军队和武将挑选合适的武器和装备，强化战斗力。
3、玩游戏中由众多可爱的少女们与你一起成长，这中间的剧情是甜蜜还是悲伤都取决于你的选择。
4、游戏的自由度非常高，玩家可以在游戏中自由的探索和冒险，获得更多的乐趣。
5、是一款非常有趣的解谜题材冒险类游戏。游戏的玩法非常简单，就是不断的攀爬。你需要利用手中的钩子不断地向上攀爬，只有到达顶峰才能够顺利通关。如果喜欢这款游戏的小伙伴不要在犹豫了快来下载吧。
1、是一款非常经典的休闲枪战射击类手机游戏，这款游戏中玩家需要拿起你自己的武器射击你的敌人，数百个有故事性且令人热血沸腾的任务，感兴趣的玩家快点下载体验吧！
2、烟花种类可以通过解锁蝴蝶，还可以收获更豪华的烟花图案。
3、经典的战棋策略游戏玩法，玩家需要根据局势来合理的制定策略进行战斗。
4、在这百名玩家即时对战的战场上，注意单人竞技的难度会比四人组队排位要难哦。
5、游戏过程中会掉落非常多的道具，玩家合理的使用这些道具能得到更高的分数。beplay 网页版下载-beplay 网页版免费下载安卓版
1、是一款角色扮演游戏，玩家将扮演着国王，游戏趣味性很强。可爱的游戏画风带来精彩的冒险，你需要治理好在这片有怪物的侵略下的王国，快发挥你的管理能力，开始这场冒险的旅途吧，快来下载体验。
2、超高自由度的游戏玩法，玩家可以自由装饰自己的房间，多种风格自由切换。
3、随着你的不断挑战，游戏的剧情也随之发展，给你趣味横生的游戏体验。
4、是一款养成类的游戏，玩家在游戏中可以体验独特的恋爱约会，与暖男们邂逅啦~这款游戏玩起来特别的有趣，很强的代入感哦!你可以针对不同角色性格的恋爱养成，感兴趣的玩家快来下载体验吧!
5、是一款新风格的修仙武侠类的游戏，场景也是比较恢弘大气，玩家是可以用个探索和挖掘，找到更多的新装备，强化自己的战斗力，组团进行战斗和剧情体验，我们也给大家带来详细的内容分享，喜欢仙侠风的玩家，应该能够在唉游戏找到快感！
查看全部
“我们面向气象导航对伏羲大模型进行优化，提高时空分辨率，实现未来15天0.1度逐小时气象预测；构建海气耦合模型，纳入风浪、涌浪、海温等要素，提升全球风、浪、流、能见度等预测精度；进行极端天气优化，提升台风、极端降水等更多灾害性场景的预测精度。” 李昊介绍，多层次焕然升级的“伏羲”2.0beplay 网页版，有望助力解决远洋气象导航长期依赖国外服务厂商问题，落实“国船国导”、实现“国产替代”。
“在极端天气预报方面，伏羲通过采用扩散模型优化，有效缓解模型预报的平滑问题，提高对极端降水和大风等极端天气现象的预报精度，超越ECMWF的数值天气预报精度。” 中国气象局党组成员、副局长熊绍员指出，中国气象局高度重视气象与人工智能深度融合发展，联合相关高校、科研机构、企业共同推进气象大模型以及人工智能气象应用关键核心技术攻关。
“伏羲”的升级之路仍在继续。下一步，团队将推进“端到端”气象大模型，构建基于气象大模型的同化系统，实现多种卫星资料同化（微波、红外等）beplay 网页版，摆脱对传统模式的依赖；开发地球系统大模型，实现大气、海洋、陆面、冰冻圈的预报，探索大气污染、气候风险预报；构建基于大模型的国产化再分析数据集，利用大模型构建完全独立自主的国产化再分析数据，摆脱模型训练对国外数据的依赖。
女娲医药大模型包括DNA大模型和动态蛋白大模型。其中，DNA大模型，以全球最长序列、最细粒度的基因调控关系理解，促进生物机制的发现。它基于状态空间模型，捕捉长序列关联，构建2亿参数的DNA模型，相比DeepMind等团队发布的高精度基因表达预测模型Enformer，分辨率和调控距离提升4倍，将应用于药物靶点发现。
“伏羲”和“女娲”两大模型分别是上智院地球科学、生命科学领域的代表性成果。在物质科学领域，上智院则构建物质科学大模型，致力于数据、工具、机理融合，已构建第一性原理（QM）数据库，4000万分子构象数据库具备全球最大规模。团队开发出薛定谔方程AI求解模型，高精度近似求解薛定谔方程，拥有被称为小分子药物亲和力预测精度持平“世界最好的商用软件”薛定谔FEP+。另有AI驱动的多孔材料模型、计算物质科学通用模型。
KO前世界拳王维尔德！美媒：中国拳手张志磊用疯狂的KO送对手退休
发布日期: 2026-04-04
beplay 网页版
扫一扫安装
豌豆荚发现更多
一条小怀雨
北京：聚焦中年女性 原创音乐剧《北京故事》保利剧院上演beplay 网页版
2026-04-04 12:25:50
邻家熙华
为何大家丧失了原倍速看剧的能力beplay 网页版
2026-04-04 12:25:50
塞泽宇
湖南张家界：“五化建设”成果显著
2026-04-04 12:25:50
重阳俊良
瞭望·治国理政纪事｜乘和平之舟行共赢之路——写在构建海洋命运共同体理念提出5周年之际
2026-04-04 12:25:50
云居小凝
分析｜中国新冠疫苗接种如何冲刺？
2026-04-04 12:25:50 推荐