6月3日，昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE，性能强劲，同时推理成本更低。Skywork-MoE基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来，是首个完整将MoE Upcycling技术应用并落地的开源千亿MoE大模型，也是首个支持用单台4090服务器推理的开源千亿MoE大模型。
昆仑万维基于目前各大主流模型评测榜单评测了Skywork-MoE，在相同的激活参数量20B(推理计算量)下，Skywork-MoE能力在行业前列，接近70B的Dense模型，使得模型的推理成本有近3倍的下降。同时Skywork-MoE的总参数大小比DeepSeekV2的总参数大小要小1/3，用更小的参数规模做到了相近的能力。
有别于传统的固定系数(固定超参)的aux loss，昆仑万维在MoE训练的不同阶段让模型自适应的选择合适的aux loss超参系数，从而让Drop Token Rate保持在合适的区间内，既能做到expert分发的平衡，又能让expert学习具备差异化，从而提升模型整体的性能和泛化水平。在MoE训练的前期，由于参数学习不到位，导致Drop Token Rate太高(token分布差异太大)，此时需要较大的aux loss帮助token load balance；在MoE训练的后期，昆仑万维希望Expert之间仍保证一定的区分度，避免 Gating倾向为随机分发Token，因此需要较低的aux loss降低纠偏。
区别于Megatron-LM社区已有的EP(Expert Parallel)和ETP(Expert Tensor Parallel)设计，昆仑万维提出了一种称之为Expert Data Parallel的并行设计方案，这种并行方案可以在Expert数量较小时仍能高效的切分模型，对Expert引入的 all2all通信也可以最大程度的优化和掩盖。相较于EP对GPU数量的限制和ETP在千卡集群上的低效， EDP可以较好的解决大规模分布式训练MoE的并行痛点，同时EDP的设计简单、鲁棒、易扩展，可以较快的实现和验证。
由于first stage的Embedding计算和last stage的Loss计算，以及Pipeline Buffer的存在，流水并行下均匀切分Layer时的各stage计算负载和显存负载均有较明显的不均衡情况。昆仑万维提出了非均匀的流水并行切分和重计算Layer分配方式，使得总体的计算/显存负载更均衡，约有10%左右的端到端训练吞吐提升。
Skywork-MoE是目前能在8x4090服务器上推理的最大的开源MoE模型。8x4090服务器一共有192GB的GPU显存，在FP8量化下(weight占用146GB)，使用昆仑万维首创的非均匀Tensor Parallel并行推理方式，Skywork-MoE可以在合适的batch size 内达到2200 tokens/s的吞吐。
乐鱼app安卓版满满的未来科幻风格，每个ai角色身上都装备展各种独特的机械装置。
1、超级简单的游戏玩法，帮助玩家感受轻松解压的游戏体验。
2、是一款非常好玩模拟经营养成类型的手机游戏，游戏里玩家中可以体验到生存的生活，玩家还需要扩建农场生产非常多的食物和资源！欢迎感兴趣的玩家在本页面下载体验。
3、跌宕起伏的故事剧情，超多反转让玩全程高能，让你感受最精彩的故事。
4、是一款模拟经营小游戏，玩家经营着一家农场，用可爱的饰品装饰着农场。培养自己的小绵羊，小心大灰狼来了哦，想要拥有温馨的农场吗?想和可爱的小绵羊玩耍吗?下载这款游戏体验羊场主的快乐所在吧!
5、玩家可以通过合成消除的玩法在游戏中完成各种各样不同的挑战。
1、是一款角色扮演冒险手机游戏，游戏的画面非常的精致，李逍遥的同村伙伴王小虎及李逍遥与赵灵儿之女李忆如，快来一起踏上旅途，欢迎感兴趣的玩家在本页面下载。
2、是一款模拟经营类游戏，玩家将在游戏中，经营一家很大的农场，饲养各种可爱的小动物，建造一个繁华的城市与农场，成为这个农场的主人，还可以种植农作物。感兴趣的快来下载体验吧!
3、游戏非常好玩的趣味冒险角色类型的手机游戏，这款游戏有着非常多的装备，玩家可以和队友一起刷boss，游戏的爆率非常的高，欢迎感兴趣的玩家在本页面下载流放之城体验。
4、玩家可以与怪物建立羁绊、培养怪物、与怪物共存、游历各个地方，体验“怪物”的世界，是一款RPG要玩的游戏。
5、玩家作为支教老师需要同时负责多门课程，帮助学生们提升自己的成绩。
1、作为准妈妈的玩家需要有承担起作为一个母亲的责任和各种义务。
2、是一款休闲益智的游戏，是一个非常有魔性的飞盘游戏。游戏的画面比较简约，小清新，玩家需要在游戏中通过物理方式完成弹射，破碎打击，快去弹射到敌人的阵地去吧，考验你的眼力手速到了!
3、是一款休闲益智类的游戏。玩家在游戏中将所有的白色球球给染上了颜色，要精准的射击球球，考验玩家的眼力时候到了，寻找合适的角度和方向去射击小球球，撞击那些彩色的物体吧!
4、是一款益智类的游戏，玩法非常的简单有趣，玩家只要触摸屏幕，控制球球弹射方向和力度，让球球通过各种障碍，弹弹弹，弹到l目标身边！欢迎各位玩家前来下载。
5、玩家自由的感受一个以自己全新的身份经历的人生。乐鱼app安卓版下载-乐鱼app安卓版免费下载安卓版
1、是io类型游戏市场上很火的休闲类型的游戏，且是多人竞技的一起沟通游玩的游戏，你还能够在游戏中认识很多有意思的朋友，认识各种各样的新车，我们本页面给大家啊带来的详细的游戏的玩法和特色介绍。
2、游戏中还有着许多非常强大的boss，满屏的弹幕攻击，非常考验玩家的操作能力。
3、全新的战斗冒险，在这个异世界中与各种不同的角色展开战斗。
4、是一款非常好玩的策略模拟类型的手机游戏，游戏需要玩家建立一个攻守兼备的堡垒在建筑堡垒的时候也要派兵四处探险，欢迎感兴趣的玩家在本页面下载工艺世界口袋版体验。
5、玩家在这里自由的展开自己的趣味的冒险挑战中去。
查看全部
中新网长春6月3日电 (高龙安)3日，吉林省生态环境厅厅长张旗威在长春介绍，去年，该省环境空气质量继续保持在全国第一方阵，全省无酸雨城市；水环境质量再创历史最好水平，实现2021年以来“三连升”，改善幅度位列全国第二；全省生态质量指数(EQI值)为66.99，优于全国平均水平，生态质量状况连续20年保持良好。
张旗威介绍，去年该省地级及以上城市优良天数比例为92.4%，优于全国平均水平5.6个百分点。细颗粒物(PM2.5)年均浓度为26.5微克/立方米，优于全国平均水平3.5微克/立方米，以上两项指标连续8年优于全国平均水平。可吸入颗粒物(PM10)、细颗粒物(PM2.5)、二氧化硫、二氧化氮、一氧化碳、臭氧等6项主要污染物平均浓度连续6年达到国家二级标准。
去年，吉林省水环境质量持续提升。张旗威介绍，全省111个国考断面中，18个断面水质类别同比提升，46个断面水质类别优于国家考核目标。地表水国控断面优良水体(Ⅰ-Ⅲ类)比例达到86.2%，同比上升4.4个百分点，优于国家年度考核目标10.1个百分点，全面消除劣五类水质断面。18个地级及以上城市(含延吉市)在用集中式生活饮用水水源水质保持稳定，地下水国家考核点位水质保持稳定。
吉林省自然生态系统生物多样性较丰富、生态结构较完整、生态功能较完善。张旗威表示，去年全省森林覆盖率为45.42%，草原综合植被覆盖度为67.06%。共有国家级自然保护区22个、省级自然保护区17个。长白山国家级自然保护区、吉林龙湾群国家森林公园，入选世界自然保护联盟绿色名录，获评“世界最佳自然保护地”。
《经济半小时》 20240521 世界文化发展日：中华文化传承新意浓
发布日期: 2024-09-20
乐鱼app安卓版
扫一扫安装
豌豆荚发现更多
风啸凌硕
习近平主席特别代表、国务院副总理张国清将出席伊朗已故总统莱希吊唁活动乐鱼app安卓版
2024-09-20 06:02:03
冬马建利
在创新中发展壮大“即时物流”（人民时评）乐鱼app安卓版
2024-09-20 06:02:03
努力啊大安蕾
黑龙江省哈尔滨市人大常委会原副主任王维绪被开除党籍
2024-09-20 06:02:03
努力啊大易真
水联网1号店落地 饮用水场景覆盖11类行业
2024-09-20 06:02:03
驰鸿小公主
武汉发现7例阳性 为去年6月清零后首次
2024-09-20 06:02:03 推荐