大语言模型中的涌现现象是不是伪科学?
Datawhale干货
作者:平凡@知乎,诺桑比亚大学,在读博士
今天晚上,花了一点儿时间看了两篇文章:
(资料图)
《Emergent Abilities of Large Language Models》[1]
《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]
这两篇讲的都是emergent behavior,即涌现现象。
大规模神经网络下的涌现现象在机器学习中使用大规模神经网络时,由于增加了参数数量、训练数据或训练步骤等因素,出现了定性上的新能力和性质,这些能力和性质在小规模神经网络中往往是不存在的。
第一篇文章举了这个例子,每个图都可以理解为一个任务,横轴是神经网络的规模,而纵轴是准确率,可以理解为模型的性能。
我们拿图一来看,在10的22次方前,这些模型基本上的性能基本上都很稳定在0附近,而在10的22以后,突然在10的24次方上获得了很大的性能提升,在其他的几个任务上都表现出类似的特征。
意想不到的效果第二篇文章更是有趣,我直接把推特一位博主的评论引用在这里:
作者发现,当我们训练用网络计算同余加法 a+b = ? (mod c) 时,网络在某个时间突然获得了 100% 准确率。分析发现,神经网络实际上“顿悟”了使用傅立叶变换来计算同余加法!这个算法可以证明是正确的, 反人类直觉的。
从这俩例子里面我的感受是,只要数据量足够且真实,且模型没有硬错误的前提下,不断的训练说不定真的能够产生一些意想不到的效果。
还有就是我觉得人类现在积累的知识并不少,但是系统的少,零星的多,如果类似ChatGPT这样的大模型可以拿所有的人类已有知识进行不断学习的话,我觉得有很大概率会让它涌现出意想不到的能力。
甚至可能把人类的生产力解放提前很多。
参考
1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf关键词:
- 百度有驾携手虚拟数字人夏南屿,推出纯电轿车一汽丰田bZ3测评
- 光纤入户设备怎么用_光纤入户设备|热闻
- 河北井陉:保护古村风貌 留住乡愁古韵
- 天津发布鼓励发展邮轮旅游实施细则 “真金白银”鼓励发展邮轮旅游|今日快看
- 喜悦“溢出屏幕”!多地高考收官 考生与亲友庆祝 今日观点
- AI前哨 | GPT-5什么时间上线?OpenAI CEO在中国会议上发言
- 林朽_关于林朽概略
- 当前观点:国家防总启动防汛四级应急响应,派工作组赴广西福建指导救灾
- 环球新动态:部分银行1年期美元定存利率高达5%—— 储户有必要换汇存美元吗
- 辽代时期著名画家胡瓌、胡虔父子九幅传世经典绘画艺术赏析
-
考后心理波动期来了?几个方法帮考生收心_世界焦点
长期的备考和紧张的高考之后,考生的各种心理需求在考试后一段时间
-
天天看点:文化观察丨当动物成为网红
人们对动物园的期盼,不再是来了、看了、玩了,如今园内随处可见打扮入
-
50 岁生日派对的晚餐创意
50岁生日气球计划和庆祝所爱之人的50岁生日是一项不可掉以轻心的任务。
-
焦点速讯:月亮之眼:《无名书》的续集(对于月亮之眼:《无名书》的续集简单介绍)
聊聊一篇亮之眼:《无名书》的续集,对于月亮之眼:《无名书》的续集简
-
物业保洁个人工作总结一篇
本人自今年5月18日入职担任物业部保洁主管。工作职责为负责园区A、B、D
-
世界报道:香港一季度服务业收益改善
香港特区政府统计处9日发布的业务收益指数显示,香港不少主要服务行业
-
环球通讯!雷士德医学院将重现历史风貌 修缮后向市民开放
雷士德医学院将重现90年前风貌旧址明年上半年完成修缮,届时向市民开放
-
中银航空租赁(02588)授出合共164.47万股的限制性股票单元奖励
中银航空租赁(02588)发布公告,公司根据计划于2023年6月9日向参与者授出有
-
酷似麒麟的瑞兽中华鬣羚现身,网友:有点像驴怎么说-天天观天下
【神秘中华鬣羚首次现身!龙陵自然保护区多点位捕捉珍贵画面】6月8日,
-
每日消息!鸡西大学地址_鸡西大学怎么样
1、鸡西大学还是可以的,本地人评价不太好,但是在那里一段时间后可能
X 关闭
全球头条:新能源布局加速落子 风电光伏建设正酣
每日速递:气体传感器的发展现状与未来展望
当前速递!国内三大石油企业发布半年报 目光投向新能源
【全球聚看点】如何在智能建筑物联网与隐私之间取得平衡
快资讯:欧洲7月电动汽车销量同比下滑5%
X 关闭
焦点热议:斗罗:比比东为救千仞雪而死,只可惜临终前,大师连镜头都没有
从一封未刊信札看董每戡在长沙的朋友圈
每日精选:业绩之外,中兴通讯的ESG底色
从南宁来到厦门 两件南侨机工文物落户陈嘉庚纪念馆
环球短讯!万亿美债要来了,美国财政“余额不足”