6月3日，昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE，性能强劲，同时推理成本更低。Skywork-MoE基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来，是首个完整将MoE Upcycling技术应用并落地的开源千亿MoE大模型飞亚体育官方下载app，也是首个支持用单台4090服务器推理的开源千亿MoE大模型。
昆仑万维基于目前各大主流模型评测榜单评测了Skywork-MoE，在相同的激活参数量20B(推理计算量)下，Skywork-MoE能力在行业前列，接近70B的Dense模型，使得模型的推理成本有近3倍的下降。同时Skywork-MoE的总参数大小比DeepSeekV2的总参数大小要小1/3，用更小的参数规模做到了相近的能力。
有别于传统的固定系数(固定超参)的aux loss，昆仑万维在MoE训练的不同阶段让模型自适应的选择合适的aux loss超参系数，从而让Drop Token Rate保持在合适的区间内，既能做到expert分发的平衡，又能让expert学习具备差异化，从而提升模型整体的性能和泛化水平。在MoE训练的前期飞亚体育官方下载app，由于参数学习不到位，导致Drop Token Rate太高(token分布差异太大)，此时需要较大的aux loss帮助token load balance；在MoE训练的后期，昆仑万维希望Expert之间仍保证一定的区分度，避免 Gating倾向为随机分发Token，因此需要较低的aux loss降低纠偏。
区别于Megatron-LM社区已有的EP(Expert Parallel)和ETP(Expert Tensor Parallel)设计，昆仑万维提出了一种称之为Expert Data Parallel的并行设计方案，这种并行方案可以在Expert数量较小时仍能高效的切分模型飞亚体育官方下载app，对Expert引入的 all2all通信也可以最大程度的优化和掩盖。相较于EP对GPU数量的限制和ETP在千卡集群上的低效， EDP可以较好的解决大规模分布式训练MoE的并行痛点飞亚体育官方下载app，同时EDP的设计简单、鲁棒、易扩展，可以较快的实现和验证。
由于first stage的Embedding计算和last stage的Loss计算，以及Pipeline Buffer的存在，流水并行下均匀切分Layer时的各stage计算负载和显存负载均有较明显的不均衡情况。昆仑万维提出了非均匀的流水并行切分和重计算Layer分配方式，使得总体的计算/显存负载更均衡，约有10%左右的端到端训练吞吐提升。
Skywork-MoE是目前能在8x4090服务器上推理的最大的开源MoE模型。8x4090服务器一共有192GB的GPU显存飞亚体育官方下载app，在FP8量化下(weight占用146GB)，使用昆仑万维首创的非均匀Tensor Parallel并行推理方式，Skywork-MoE可以在合适的batch size 内达到2200 tokens/s的吞吐。
飞亚体育官方下载app是一款休闲益智的游戏，模拟海洋的场景，鱼群大战斗，在游戏中，玩家是一只鱼儿，需要在海洋中找到目标，吞噬小鱼，把自己变得强大起来，立志成为那只最大的鱼，简单的游戏操作，快来下载吧!
1、是一款冒险元素的动作类手游。本作的画面十分讨人喜爱，明快的色彩、细腻的画质、精美的场景设计与轻松调皮的音效完美结合。玩家在冒险的同时会有一些小宠物跟随，让游戏变得更加Q萌可爱；喜欢的话就抓紧来下载！！！
2、玩家可以自由的建设改造自己的夜市，让他能够吸引更多的顾客前来消费。
3、是一款非常好玩的仙侠动作策略类型手机游戏，游戏为玩家创建了一个极致唯美的仙侠世界，玩家在游戏里可以通过各种方式提升自己的战斗能力，欢迎感兴趣的玩家在本页面下载体验。
4、是一款二次元风格卡牌冒险手游。玩家会在这里体验到真人日漫配音，各种类型卡牌等你来收集，带你畅享二次元世界；人物角色也非常之多，什么类型都有，保证有你喜欢的一类，全新画风和全新剧情，超多精彩不容错过！
5、长相不一，类型不同的原石，里面的翡翠种类也会有所不同。
1、是一款非常刺激的恐龙射击手游。玩家所处的是一片神秘的热带密林，在危险四伏的侏罗纪地带，面临强大而又高达的生物，需要拿好手中的枪并保护自己的安全，要知道恐龙是非常凶狠的；带上你的武器作战装备，开启令人刺激的狩猎人生吧~
2、丰富的地图板块，海量的副本剧情等你来解锁。
3、一款休闲益智类小游戏。操作十分简单，很容易就能上手，不过游戏中有些关卡还是比较困难，但非常具有挑战性；游戏中玩家需要帮助主角完成冒险并找到回去的路，画风采用童话插绘风格，角色Q萌可爱，快来~
4、还有各种海量的武器和道具供你使用，还有附加的附魔属性。
5、是一款模拟经营类游戏，玩家将扮演一位美女在餐厅里当厨师，烹饪出美食，来招待顾客。时尚的料理台，三星级的餐厅服务质量，想成为一名厨神就快来下载，体验不一样的烹饪游戏的快乐吧!
1、华丽炫酷的各种武器和道具等你来自由的收集和使用。
2、在拯救我们美丽的公主的过程中，还会看到各种阻碍仙界。
3、是一款奥特曼跑酷手游。记得童年都喜欢看奥特曼打怪兽，看着怪兽被打趴下是不是很过瘾？现在你可以拥有自己的奥特曼啦，本作不是格斗而且跑酷，这样的休闲玩法玩起来会更轻松，精致画面带来极致体验！
4、游戏中有非常多的角色等待着与玩家相遇，选择你心仪的那一位来进行攻略。
5、是一款模拟经营类的游戏。玩家在游戏中，扮演一位贪得无厌的包租婆，不断违规加盖楼层，疯狂的招揽租客，你要求你的租客为你打工挣钱，十分的搞笑有趣的一款游戏，感兴趣的玩家快来下载体验吧!飞亚体育官方下载app下载-飞亚体育官方下载app免费下载安卓版
1、游戏中还有非常多的boss怪物等着玩家来攻略，玩家需要在一边躲避的同时一边攻击。
2、玩家在海上孤独的漂泊着，面临着随时而来的危险。
3、游戏的自由度非常高，玩家可以在这里自由的探索创造，打造一个属于你的世界。
4、收集着更多的不同的武器和装备，帮助自己打败敌人。
5、是一款射击为主题的多人竞技手机游戏，用高端的3D特效展现战场，多玩家对抗游戏让游戏更加有趣，自由设计，展现玩家的高超技艺，装备设计更加多样化，操作方法更为自由，你可以随意切换角色，让我体验一下子弹的密集。感兴趣的小伙伴赶快来下载体验吧！
查看全部
作为埃及第一条电气化铁路，斋月十日城轻轨铁路连接起开罗市区与新行政首都、斋月十日城和东部沿线卫星城，惠及500多万居民；埃克萨迪亚500千伏变电站项目建成投运一年多以来，保障了电网的稳定性和可靠性，缓解了区域内的用电紧张情况；塞得东港二期集装箱码头、苏赫纳第二集装箱码头等项目大幅提升埃及港口货物吞吐能力，为苏伊士运河走廊开发作出重要贡献；中国成功将埃及二号卫星发射升空，并助力埃及成为第一个具有完备卫星总装集成测试能力的非洲国家……
埃及是首届中国国际进口博览会的国家展主宾国之一，并连续6年参加进博会。第七届进博会推介会今年4月在埃及首都开罗举行。与会埃及政商界人士表示，埃及企业期待继续通过参加进博会开拓中国市场，共享中国发展红利。埃及展览和会议总局主席谢里夫·马瓦尔迪说飞亚体育官方下载app，进博会为埃及企业展示和销售埃及产品，并在全球范围内推广“埃及制造”提供了很好的机会。今年也有许多埃及企业准备参加第七届进博会。
今年5月，海尔埃及生态园正式开园。园区内，空调和电视机产线已于今年3月开始试投产，加上5月投产的洗衣机产线，家电年产能近百万台。冰箱、冷柜等品类被列入项目二期规划。园区全要素和全流程可视可控，不仅能优化资源配置和管理决策，还能精准分析园区水电等能耗情况，有效节能。海尔埃及贸易公司总经理艾哈迈德·摩萨德·詹迪表示，生态园将为当地创造3000多个就业岗位。
中方正与埃方深化合作，在云计算、数字经济和人工智能等领域打造新的增长点，助力埃及数字化转型。不久前，由中国企业运营的华为公有云开罗节点正式启用，这是埃及乃至北部非洲首个公有云服务，可提供包括人工智能平台、数据平台、开发平台在内的200多种云服务。据介绍，未来5年，华为将在当地培养1万名本地开发者、10万名数字化专业人才，推动当地数字化转型。
中埃联合考古项目中方执行领队贾笑冰告诉记者，经过60天田野工作，考古工作人员首次完整绘制出奥西里斯神殿区第四座神殿的整体轮廓，向着绘制该区域完整平面图又前进了一步。中埃联合考古队将在今年12月进行新一季的考古发掘，届时将有更多考古成果问世，揭开更多历史之谜，为中埃考古合作、文明交流互鉴作出更大贡献。
2022年9月，埃及在中学教育阶段启动中文教育试点项目，标志着中文教学进入埃及国民教育体系。目前，埃及近30所大学开设中文专业；建成4所孔子学院、2个孔子课堂、2所鲁班工坊。埃及苏伊士运河大学校长纳赛尔·曼多尔表示，在教育领域，埃中两国开展了广泛合作。苏伊士运河大学致力于加强同中国高校的合作，为埃中学子创造交流机会。两国人民以教育为桥，互学互鉴，美美与共，深厚友谊必将历久弥新。(本报记者 黄培昭)
飞亚体育官方下载app
扫一扫安装
豌豆荚发现更多
龙鳞安儿
谁让AI更“听话”？衡水市人工智能训练师同台“PK”飞亚体育官方下载app
2026-04-04 09:22:48
保初
重庆命名一批生态文明建设示范区县飞亚体育官方下载app
2026-04-04 09:22:48
宫古艳艳
长江干流已实现全Ⅱ类水体
2026-04-04 09:22:48
是你的夜瑶呀
补齐高校学生宿舍短板
2026-04-04 09:22:48
金双殿下
新华社快讯：俄军一架伊尔-76运输机24日在别尔哥罗德州坠毁
2026-04-04 09:22:48 推荐