当前位置: 首页>行业 >

当前快讯:大语言模型中的涌现现象是不是伪科学?

来源: 程序员客栈 | 时间: 2023-06-17 17:40:00 |

Datawhale干货

作者:平凡@知乎,诺桑比亚大学,在读博士


【资料图】

今天晚上,花了一点儿时间看了两篇文章:

《Emergent Abilities of Large Language Models》[1]

《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]

这两篇讲的都是emergent behavior,即涌现现象。

大规模神经网络下的涌现现象

在机器学习中使用大规模神经网络时,由于增加了参数数量、训练数据或训练步骤等因素,出现了定性上的新能力和性质,这些能力和性质在小规模神经网络中往往是不存在的。

第一篇文章举了这个例子,每个图都可以理解为一个任务,横轴是神经网络的规模,而纵轴是准确率,可以理解为模型的性能。

我们拿图一来看,在10的22次方前,这些模型基本上的性能基本上都很稳定在0附近,而在10的22以后,突然在10的24次方上获得了很大的性能提升,在其他的几个任务上都表现出类似的特征。

意想不到的效果

第二篇文章更是有趣,我直接把推特一位博主的评论引用在这里:

作者发现,当我们训练用网络计算同余加法 a+b = ? (mod c) 时,网络在某个时间突然获得了 100% 准确率。分析发现,神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法!这个算法可以证明是正确的, 反人类直觉的。

从这俩例子里面我的感受是,只要数据量足够且真实,且模型没有硬错误的前提下,不断的训练说不定真的能够产生一些意想不到的效果。

还有就是我觉得人类现在积累的知识并不少,但是系统的少,零星的多,如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话,我觉得有很大概率会让它涌现出意想不到的能力。

甚至可能把人类的生产力解放提前很多。

参考

1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf

关键词:

 

热文推荐

当前快讯:大语言模型中的涌现现象是不是伪科学?

Datawhale干货作者:平凡@知乎,诺桑比亚大学,在读博士今天晚上,花了

2023-06-17

魔兽世界角色分离到其他账号坐骑还在吗_魔兽世界角色分离

1、魔兽世界现在没有账号分离了,你要是要把游戏角色转移到其他账号可

2023-06-17

今日开赛!

“今日开赛6月17日上午,为丰富全市广大职工群众的体育文化生活,营造

2023-06-17

当前通讯!俄能源部:今年前五个月俄罗斯对中印煤炭出口实现同比增长

【俄能源部:今年前五个月俄罗斯对中印煤炭出口实现同比增长】俄罗斯卫

2023-06-17

3999元起 蔚来天穹车尾帐发布:10分钟快速搭建“一室一厅”

3999元起蔚来天穹车尾帐发布:10分钟快速搭建“一室一厅”

2023-06-17

世界通讯!迪斯按摩椅质量怎么样?可以看看大家的吐槽,看下用过的人怎么说

迪斯按摩椅质量怎么样?可以看看大家的吐槽,看下用过的人怎么说物流师

2023-06-17

容积率1.3+限高24米 临平南融板块又一个强改善机遇

潮新闻客户端记者郑青青今年的杭州土地市场上,临平新城一直备受关注。

2023-06-17

天天动态:h2o电子式怎么写_h2o电子式

1、H₂O₂的电子式如下图:纯过氧化氢是淡蓝色的黏稠液体,可任意比例

2023-06-17

观速讯丨中信建投:建议重点关注物联网模组、智能控制器板块

【中信建投:建议重点关注物联网模组、智能控制器板块】中信建投研报认

2023-06-17

侠盗飞车5攻略_侠盗飞车5攻略 UCG_环球热议

侠盗飞车5攻略侠盗飞车5(GrandTheftAutoV)是一款由RockstarNorth开发

2023-06-17

即时看!舆论热议!詹姆斯隔空回击马龙,球迷怒斥:被横扫却自封为王

掘金在夺得NBA总冠军之后,湖人屡次躺枪,不仅是因为在夺冠的过程中掘

2023-06-17

【染钟楼】剧本社区—第78期《醉歌乱舞V 3.0》

大家好鸦~欢迎光临Lei的剧本钟楼,染·钟楼谜团中文社区最齐全的剧本档

2023-06-17

坏了的水果还能吃吗 坏了的水果还能吃吗有毒吗

1、坏了的水果究竟能不能吃,不能一概而论,得弄清它是怎么变坏的。通

2023-06-17

WTT拉各斯站向鹏刘炜珊进决赛 梁俨苧负德国名将

向鹏 刘炜珊北京时间6月17日消息,WTT常规挑战赛拉各斯站继续进行,中

2023-06-17

南方纯元债券型证券投资基金限制大额申购、定投和转换转入业务的公告 播资讯

公告送出日期:2023年6月17日1公告基本信息基金名称南方纯元债券型证券

2023-06-17

封神榜演员表2006_封神榜演员表-当前速读

1、封神榜演员表2、梁丽饰>苏妲己3、唐远之>饰姜子牙4、张续成>饰殷纣

2023-06-17

炬华科技:预中标4.01亿元电网采购项目|全球观速讯

炬华科技6月5日公告,公司于6月2日分别在“国家电网有限公司2023年第三

2023-06-17

1999年,岳云鹏在北京当保安时的照片,留着时兴发型妥妥精神小伙

1999年,岳云鹏在北京当保安的照片。这时候的岳云鹏刚从河南农村老家出

2023-06-17

6月16日基金净值:南方创新驱动混合A最新净值0.6926,涨1.01% 百事通

6月16日,南方创新驱动混合A最新单位净值为0 6926元,累计净值为0 6926

2023-06-17

前沿热点:有一种爱(对于有一种爱简单介绍)

聊聊一篇一种爱,对于有一种爱简单介绍的文章,网友们对这件事情都比较

2023-06-17

资讯

因地制宜放“大招” 多地市密集出台稳经济措施

当前,受新冠肺炎疫情等因素影响,我国经济发展仍面临严峻挑战。5月25日,国务院召开全国稳住经济大盘会议,要求把稳增长放在更突出位置。5

2022-06-20     
北京推出14条秋游文化线路

金秋时节,北京市文化和旅游局以赏银杏品文化为主题,推出14条“叶落的季节——漫步北京赏银杏品文化主题线路”,邀市民和游客以步行、骑行

2021-10-27     
基因编辑发力 培育高质量人源化供体猪

此次人体试验,仅仅验证了基因编辑猪克服异种器官移植的超急性排斥反应,还需解决延迟性排斥反应、消耗性血栓等问题。但通过这次试验,能更

2021-10-27     
中国经济高质量发展步伐稳健 长期向好基本面未变

在全球疫情走势和经济走势趋于复杂的背景下,中国经济巨轮将驶向何方,举世关注。2020年10月26日至29日,党的十九届五中全会在京举行,明确

2021-10-27     
南美解放者杯决赛允许近4.5万观众入场

南美洲足联主席多明格斯25日与今年解放者杯决赛对阵的两支俱乐部负责人会晤,宣布决赛现场观众人数增加到球场容量的75%,即近4 5万人。今年

2021-10-27     
22年从警生涯 面对荣誉他说不要给我报功

9月24日,时任安徽省安庆市公安局迎江分局刑警大队大要案中队中队长周磊因在工作中激烈搏斗引发心源性猝死,倒在了工作岗位上,经医院抢救

2021-10-27