6月3日,昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE,性能强劲,同时推理成本更低。Skywork-MoE基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来,是首个完整将MoE Upcycling技术应用并落地的开源千亿MoE大模型,也是首个支持用单台4090服务器推理的开源千亿MoE大模型。
昆仑万维基于目前各大主流模型评测榜单评测了Skywork-MoE,在相同的激活参数量20B(推理计算量)下,Skywork-MoE能力在行业前列,接近70B的Dense模型,使得模型的推理成本有近3倍的下降。同时Skywork-MoE的总参数大小比DeepSeekV2的总参数大小要小1/3,用更小的参数规模做到了相近的能力。
有别于传统的固定系数(固定超参)的aux loss,昆仑万维在MoE训练的不同阶段让模型自适应的选择合适的aux loss超参系数,从而让Drop Token Rate保持在合适的区间内,既能做到expert分发的平衡,又能让expert学习具备差异化,从而提升模型整体的性能和泛化水平。在MoE训练的前期,由于参数学习不到位,导致Drop Token Rate太高(token分布差异太大),此时需要较大的aux loss帮助token load balance;在MoE训练的后期,昆仑万维希望Expert之间仍保证一定的区分度,避免 Gating倾向为随机分发Token,因此需要较低的aux loss降低纠偏。
区别于Megatron-LM社区已有的EP(Expert Parallel)和ETP(Expert Tensor Parallel)设计,昆仑万维提出了一种称之为Expert Data Parallel的并行设计方案,这种并行方案可以在Expert数量较小时仍能高效的切分模型,对Expert引入的 all2all通信也可以最大程度的优化和掩盖。相较于EP对GPU数量的限制和ETP在千卡集群上的低效, EDP可以较好的解决大规模分布式训练MoE的并行痛点,同时EDP的设计简单、鲁棒、易扩展,可以较快的实现和验证。
由于first stage的Embedding计算和last stage的Loss计算bob半岛在线登录,以及Pipeline Buffer的存在,流水并行下均匀切分Layer时的各stage计算负载和显存负载均有较明显的不均衡情况。昆仑万维提出了非均匀的流水并行切分和重计算Layer分配方式,使得总体的计算/显存负载更均衡bob半岛在线登录,约有10%左右的端到端训练吞吐提升。
Skywork-MoE是目前能在8x4090服务器上推理的最大的开源MoE模型。8x4090服务器一共有192GB的GPU显存bob半岛在线登录,在FP8量化下(weight占用146GB),使用昆仑万维首创的非均匀Tensor Parallel并行推理方式,Skywork-MoE可以在合适的batch size 内达到2200 tokens/s的吞吐。
bob半岛在线登录清新可爱的游戏画风,和丑萌搞怪的鼻涕虫形象。
1、这是一款非常烧脑的解谜题材手游,游戏的背景设定放在唐朝。玩家将化身成为六扇门的神捕,你要在皇城直接解决各种谜案。游戏非常考验玩家的推理能力,有时候错过一个细节将会导致完全不同的结局。如果喜欢这款游戏的玩家不要在犹豫了快来下载吧。
2、各种精心设计的各种关卡内容等你来自由的参加战斗。
3、多元化的各种冒险元素在这里完美的融合在一起和开启冒险。
4、是一款非常好玩的多人对战的音游,游戏里的画面非常的精致,游戏里还有非常多的人物角色,而且每个角色都有鲜明的性格,游戏还有非常多的模式,玩家还可以邀请异性游戏玩,还等什么快点下载体验吧。
5、是一款非常好玩的谎言冒险解谜类型的手机游戏,这款游戏非常的特别四个人的私生活围绕这一个巨大的谎言,给玩家带前所未有的游戏模式,欢迎感兴趣的玩家在本页面下载体验。
1、是一款像素类休闲手游。玩家将在游戏中成为一胶带,过程中需躲避各种危险物品,操作比较简单,人物角色Q萌,画风色彩鲜明,背景主题超多,充满了可爱感;喜欢的小伙伴们快快点击下载游戏在充满箱子的世界中开始新的旅程吧!
2、如果在对战中走错一步,还可以进行复盘,更加增进对棋局的了解。
3、各种畅快有趣的玩法,你会成为最优秀的猎人。
4、是一款经典的三国题材的策略手游。精湛的美术效果,绚丽的人物形象设计,在这里能让你享受极致烧脑的三国热血攻城玩法;玩家需带领自己的精兵强将排兵布阵,灵活运用多种策略,挑战各种丰富的关卡,一统天下盛世吧~
5、阴阳师拥有丰富的角色任你选择,独特的养成玩法,多种角色搭配方式让你打造最强阵容。
1、是一款非常好玩的台球类型的手机游戏,这款游戏的画面做的非常的逼真,游戏的画面非常的精致,玩家有更好的游戏体验,欢迎感兴趣的玩家在本页面下载体验。
2、游戏中有超过9种不同的种族和职业,玩家可以自由的选择喜欢的角色。
3、开放式的游戏玩法,玩家可以自由的探索地图上的每一块区域,在这做你想做的任何事。
4、玩家在游戏中的每一次选择和互动都会改变人物之间的关系,进入不同的分支。
5、非常高的自由度。 玩家可以自由选择场景的难度等级和挑战。 bob半岛在线登录下载-bob半岛在线登录免费下载安卓版
1、游戏中各种精致外观可以帮助玩家的战力再度提升,越变越强。
2、游戏有着闯关模式和无尽模式可以给玩家选择,每种模式的玩法都大不相同。
3、医院中到处都充满了危险的气息,玩家需要躲藏在柜子中躲避怪物的追杀。
4、玩法非常简单,只需要轻轻触动屏幕就可操控,但是想要玩好还是需要一定的技巧的。
5、是一款策略级的沙盘战略性游戏,作为市面上比较火的三国题材的游戏,你将认识的更多强力的三国武将,我们本页面给大家带来的是这款游戏的战争世界的详情介绍和玩法说明,且描述的是专业战争级世界,喜欢军事题材的玩家,不要错过了!
查看全部
首先,这个词语描述了个人所感知的同质化信息环境。早在2006年,美国政治学家、法学家卡斯·桑斯坦在《信息乌托邦》(Infotopia: How Many Minds Produce Knowledge)一书中,用“茧房”来比喻这样一个环境:因为个性化的信息过滤,个体只能接受到符合自己观点的信息,因此陷入到了一个同质化的信息环境中。
其次bob半岛在线登录,在学术研究中,过滤泡、回声室是比信息茧房更常用的概念。人们上网时都有类似的体验,立场不同的双方就某个争议话题展开论战,结果不仅谁也说服不了谁、谁也不愿意理解谁,甚至还会加强自己原先的立场。回声室就描述了这样一种状况:人们生活在一个封闭的社交圈中,同质化的信息不断重复、放大,导致回声室内的成员对外界的信息接触越来越少,而只能听到和自己一致观点的声音。
不过,算法和茧房的因果关系也未经证实。《打破社交媒体棱镜》一书中,美国杜克大学政治学与公共政策教授克里斯·贝尔做了一个实验,当给用户提供了对立的观点时,人们反而更极端、更捍卫自己原来的立场了。这个实验说明,哪怕我们接触的是多样化的信息,仍然会拥护自己的立场,甚至变得极端,这个过程并不一定需要经过“过滤泡”或“信息茧房”的中介。
信息茧房、过滤泡、回声室等概念都描述了一个共同的担忧:在选择性的信息接触中,人们可能会陷入一种自我强化的反馈循环,从而失去了接触多种信息、不同观点的机会。这个复杂的社会问题有很多成因,受到包括个体、技术、场景与社会等多种因素的共同影响。但是在人们的日常认知中经常把这个多因——多果的问题,简化为“算法导致信息茧房”形式的单因——单果的说法。
推荐算法在用户和内容之间建立起有效的、符合偏好和需求的桥梁。如果没有推荐算法,我们可能会淹没在无边无际的信息海洋中,感到迷茫和不知所措,我们无法有效地获取所需的信息,甚至可能引发更严重的问题,比如信息瘫痪和信息回避。因此,从全局上看,算法是服务民众需求、有利社会发展的,这一基本判断应是主流共识。
其次,从市场经济角度看bob半岛在线登录,提供这项服务的平台公司需要盈利,因此推荐算法还要解决留住用户,然后将用户注意力有效售卖给广告商的问题。正如纪录片《监视资本主义:智能陷阱》(The Social Dilemma)中指出的,社交媒体平台和搜索引擎使用的推荐算法,根据用户的历史行为和偏好,个性化地推送信息。平台就像商场,如果商场总提供某一类或某几类商品,无法提供更多品类的商品,消费者可能会减少使用甚至抛弃它。从商业角度bob半岛在线登录,平台也会通过分发多样性信息,来留存用户,而不是刻意制造茧房。
也有研究显示,用户仍然有主观能动性,也并非一味被动接受算法的投喂。宾夕法尼亚大学的杨天、黄圣淳等研究发现,喜欢用今日头条看娱乐信息的人,也顺便看了新闻。也就是说,人们使用算法驱动的信息分发平台之后,并没有陷入娱乐的茧房中不可自拔,而是随着娱乐信息消费增加,新闻信息的消费也增加。从传播的角度上讲,这个研究的结果很有意义,因为它提出了一个反常识的发现:算法平台上的消费者不仅没有娱乐至死,而是也履行着“好公民”的职责。
第一bob半岛在线登录,这个替罪羊现象是大众认知仓促简化的结果。算法技术深度嵌入日常生活后,和各样社会问题产生了复杂的勾连。但人们并没有时间、或没有心力去进行条分理析的明辨,就想要寻求一个易懂的、易交流的说法,来描述这种“千人千面”的信息体验,却找不到除茧房、过滤泡这类比喻之外的词汇。于是,在大众讨论中,信息茧房的概念被挪用和滥用,相应地,概念语义也出现了泛化。把对信息茧房、沟通困难等的担忧,都仓促挪用到了推荐算法上。如果人们不愿意充分全面地去认知算法的原理,信息茧房的含义,就匆匆地将信息茧房完全归咎于算法bob半岛在线登录,也是有失公允的。
第二,正如社会心理学的“替罪羊理论”所说,人们往往会把负面体验归因于外群体。在这里,人们把社会问题归因于技术。人们如果在现实生活中意义感缺失,更倾向在信息流中花费更多时间,放下手机后,人们就容易将自己的空虚感归因到算法身上。心理学家戈登·W·阿尔波特的“替罪羊理论”(scapegoat theory)提出,当人们经受负面的情绪时,会倾向于把这种感受去归咎于另一个群体或个人。
其实,就算是没有算法的时代里,人们也会不同程度地生活在自己构建的同质化信息圈中。报刊时代,也有人只看社会新闻;电视时代,也有人只看体育频道。但人们并没有把这种单一化、同质化的信息消费归咎于报刊和电视。真正能打破信息茧房的bob半岛在线登录,并不是对一个传播技术的讨伐和绞杀,而是对受众或用户的信息素养、社会公共信息生态治理等等多方面能力的考验。
例如,柏拉图在《菲德罗篇》中猛烈批评“文字”这种当时的新技术,认为它破坏了口头交流增长智慧的方式。清朝末年,被喻为“顺风耳”的电报技术传入当时面对内忧外患的清朝,电报本可以用于提高军事情报的传递效率,但也遭到了很多大臣的反对。其中一位名叫崇厚的大臣认为,这种新技术“贻害无穷”bob半岛在线登录,因为电报杆插地太深,可能破坏风水,吸走大清的地气。21世纪初,网络游戏一度成了“网瘾”的替罪羊。当网络上的喷子太多,我们又武断地抓出社交媒体来做祸首。如今,人们又捉住了算法和大数据,作为信息同质化和观点极化的替罪羊。
认识到这个算法替罪羊现象,克制地使用简化归因,对个人和社会都是有益的。对个人而言,我们应该有意识地培养自己的自控力,为自己设计更加健康的信息套餐,运用科学和积极的思维来使用算法。例如,通过算法推荐,用户找到了独特品味的图书、小众出版商也觅得了投缘的小众读者群。对社会来说,我们保持开放包容的心态,才能在社会认知上为新技术创新做好准备bob半岛在线登录,助力孵化更多的创意产品来方便我们的生活。而代际沟通困难、意义虚无、错失焦虑、意见极化等结构性的社会问题,也不能把责任简单推到用户或技术身上,还需要通过系统设计思维,推动全社会一起来改善。
bob半岛在线登录
扫一扫安装
豌豆荚发现更多
文德酱大魔王
国际原油价格周一下跌逾3% 欧佩克+计划逐步退出自愿减产行动bob半岛在线登录
2026-01-03 09:22:28
一只新语呀
立足拟生态循环农法 探索中国特色农业新模式bob半岛在线登录
2026-01-03 09:22:28
是鹏天吖
武汉新冠患者随访:超7成在确诊6个月后仍有至少一项症状
2026-01-03 09:22:28
震雷修敏
网络视听主题宣传论坛将于8月24日在青岛举行
2026-01-03 09:22:28
留云子平
美将向全球分享2000万剂获批疫苗 英现2000多印度毒株感染病例|大流行手记(5月18日)
2026-01-03 09:22:28 推荐