写程序，咱们习惯了确定、可复现性，所以始终不能彻底理解这个“涌现”，总是说不清道不明的
大家理解啥叫“涌现”吗？这个“涌现”到底是怎么来的？
也看了些文章，始终没彻底理解
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
 |
1
我理解的“涌现”就是我们人类没能发掘的文字上的统计学联系。导致从现象上，就像是 LLM“自我觉醒”一样，突破了统计学的历史过拟合。
比如阿尔法狗，是个纯的机器学习算法，从过去的机器学习理论中来讲，阿尔法狗的下法是一定不会突破他的学习资料的。 但实际与李世石的博弈中，阿尔法狗出各种怪招，李世石完全没法招架。 |
2 |
2
可能不准确，但是你可以想象一下当训练的数据量大到一定程度，训练使得模型内部自动形成一个包括大部分人类知识和习惯的结构，任何的问题对于模型来说都不是完全未知的，当你问问题，模型就像信手拈来一样能从他的结构里拿出来你想要的答案，这就是涌现。
|
 |
3
用小学生能理解的话来讲就是，训练的样本材料很多了，量变引起的质变
|
 |
4
水分子本身不“湿”，大量水分子成为“水”就涌现出“湿”
|
 |
znedyrk10h 21m ago
5
复杂的神经网络在宏观上表现出推理、语言理解、抽象等能力
|
 |
6
涌现最早定义的时候指的是大模型在 scaling 之后出现了在训练中从未训练过的处理某项任务的能力，所以才是“涌现”能力 / 智能
|
 |
7
不建议在 V2 讨论 AI 日常使用以外的 AI 话题。
你去问 gemini 都比问 V 友靠谱 |
 |
xiaojianghu10h 1m ago
9
量变引起质变
|
|
maolon9h 51m ago
10
|
 |
jacketma9h 44m ago via Android
11
人脑就是涌现的典型案例。按照还原论，人脑也是一对原子的聚合物，每个原子的性质无外乎原子核电子等，但是无数原子聚合在一起，显示出单一原子从来没有的性质“意识”。意识就是大脑这个原子聚合物的涌现出来的性质。
|
 |
XnEnokq9vkvVq49h 42m ago
12
|
 |
dko9h 28m ago
13
|
 |
14
@strobber16
你说的太对了。论坛确实只适合吹牛逼，大部分讨论起来都是漏洞百出。 涌现本来也没什么确切的根因，它只是一种现象。 AI 炼丹师在训练大模型的时候，发现参数小的时候，训练 loss 怎么都下不去，模型学不到东西。但是当参数大到一定程度的时候，突然就能学会了，loss 急剧下降。 具体什么原因都是一些猜测分析，比如彩票假说，当你模型参数量大到一定程度的时候，内部存在多种结构，就像多张彩票，总有一张是能中奖的，也就是 loss 沿着这个计算路径能够下降。这只是其中一种，但是也有很多反对的意见。 总的来说就是，直接带着问题问 AI 就行了，比在论坛瞎吹牛逼靠谱多了。 |
 |
zuokanyunqishi8h 45m ago
15
结构 + 算法 + 量变 -> 质变()
|
 |
weilongs8h 40m ago
16
生物、动物, 那么多细胞的结合、协作也是涌现吧.
|
 |
szdosar8h 35m ago
17
量变积累发生质变。
|
 |
cheap8h 32m ago
18
你天天看美剧 看外国博主旅游视频,突然有一天你发现没有字幕你能懂其中的内容了
|
 |
MagicalCarl8h 25m ago
19
：嗯，这只是简单的加法、乘法和求导，拟合一个函数，插值预测，一切都说得通
（改了一种架构） ：嗯，它居然会预测下一个出现的字的概率，只是简单的数学统计罢了 （增加了亿点参数） ：卧槽怎么这么聪明了，什么原理，一切都说不通了 “涌现” |
 |
realJamespond8h 16m ago
20
涌现概率就是按人的意愿出现的方向的概率
|
 |
molvqingtai8h 15m ago
21
就像蚂蚁蜜蜂一样，个体智能并不高，但是组成群体之后就涌现出了群体智能
|
 |
zackkk8h 14m ago
22
就像你生活了几十年，问你学大学了什么，去年经历了什么，你一下子说不出来。 但让你讲一个什么事情，你却能讲得头头是道。 你学过的东西，顺着你的思维流到嘴边，涌现出来，变成语言。
|
 |
jinsongzhaocn8h 6m ago
23
涌现也会进化。解决一个问题需要 5 个知识，掌握了 4 个就不能涌现。所以回到古代，小学生就能涌现，现代就需要大学生，未来得靠 AI 。
|
 |
crackhopper8h 1m ago
24
好古早的术语，哈哈。我个人理解：模型玩文字接龙的时候，越来越六（仅仅是模型变大，就变六了）。随后突然表现出了有“智能”的感觉（关键是没人可以严格定义什么是智能，看起来像是 因为可以接龙更长，捕获了文字的统计关系，进而建立了概念的链接；最最重要的是，随着可以连接的概念越来越多，chain 越来越长，表现开始接近人类）
|
 |
ijammy7h 53m ago
25
可以看一下凯文凯利的《失控》
|
 |
iApp7h 51m ago
26
人学知识开窍了,你觉得人从小到大学进脑子的到底是什么
|
 |
killva46247h 51m ago
27
这个词我最开始听的时候还是在游戏设计里,即“涌现式设计”：
创建几个简单的底层规则或系统相互交织、作用，在宏观层面上演化出开发者并未直接编写、却自然而然产生的新特性、新行为或新体验。 再通俗一点，就是要设计可能性与规则的框架，而不是做预设结局与体验。这样玩家就能创造出连开发者都惊叹的游戏体验。 举个例子：游戏里常见的“点燃”，一般的游戏会让怪物具备“点燃”特性来制造伤害，但赛尔达把“点燃”作为基本的物理规则，即可以通过火焰点燃所有物品，再进一步，不仅能点燃，还会产生“热量”，加上“风力”，就出现了“上升气流”等等....利用这个简单又合理的物理框架，能做出许多意想不到的动作。 |
 |
passion3366997h 50m ago
28
读书百遍其义自见的感觉吗...
|
 |
cenbiq7h 45m ago
29
“涌现”就是一堆微观原子的东西聚在一起，因为互相之间的关联而自然产生了某种原本不存在的宏观功能，背后可能透露着数学对微观和宏观的关系起到映射作用，个人理解
|
 |
ion1ze7h 21m ago
30
awake 悟了
|
 |
capCoco6h 54m ago
31
就像蜂群算法，每个蜜蜂自己的逻辑都很简单，但整个蜂群会表现出智能
|
 |
zthxxx6h 53m ago
32
https://arxiv.org/abs/2304.15004
“ 不少所谓的涌现现象，其实来自评估指标的选择问题 ... 模型的能力随着参数量一直在逐步提高，但如果用 Exact Match （完全答对才给分，否则一律 0 分）的方式评估，能力的渐进增长就会被隐藏，直到跨过某个门槛，看上去才像突然学会了某项技能 ... ” |
 |
lizongwu6h 51m ago
33
大力出奇迹
|
 |
archxm6h 44m ago
34
实际上吧，就是老中医话术，仅此而已。
狗屁涌现！ |
 |
QS0x015h 54m ago
36
训练集里没有包含的数据，但是在推理时表现得意外不错
|
 |
doudouisamomo5h 53m ago
37
@jacketma 解答完全错误
|
 |
awfe5h 46m ago
38
“顿悟”
|
 |
curiohuang5h 32m ago
39
游戏行业这个概念用得很广泛啊，暗黑 4 里三哥程序员写的屎山代码最能证明这个了，毫不相关的几个内容在某个 BUG 的穿针引线下成为了某个赛季的妙妙机制……
|
 |
CHTRCT5h 28m ago
40
涌现这个词是人类定义的，可以改变定义，可以语义漂移
|
 |
momocraft5h 10m ago
41
涌现是现象，不是理解
|
 |
paopjian5h 8m ago
42
GPT 1->2 不断叠加模型参数, 获得的也只是一个会完形填空的机器, 然而某一天, 训练到了 GPT3 规模, 模型突然会自己接着回答了,还具有了长对话能力, 这就是涌现
|
 |
Kaisar4h 12m ago
43
也许你应该看看这个
|
 |
r791353h 36m ago
44
这个词我最早听到其实是在塞尔达王国之泪这个游戏里面，而且我觉得非常贴切，这个游戏提供了基础的能力，然后玩家涌现出了千奇百怪的海量的玩法
类比到 AI 应该就是你提供基础的工具，AI 可以涌现出各种各样的能力之类的吧 |
 |
MindMindMax3h 17m ago
45
涌现（ Emergence ） 在大模型语境中的标准定义来自 Emergent Abilities of Large Language Models （ Jason Wei 等，Google Brain & DeepMind ，2022 ）
是一个人为定义的词："An ability is emergent if it is not present in smaller models but is present in larger models." —— 小模型中不存在、但大模型中突然出现的能力。 |
|
jacketma2h 53m ago via Android
46
@doudouisamomo 欢迎指正，哪里不对了？
|
 |
47
涌现就是 P 的 N 次方
假设解决一个问题需要解决 N 个子问题，每个子问题解决成功率为 P 当智能提升，P 从 0 -> 1 的过程，就能看到“涌现”的曲线，问题从无法解决突然变的可以解决了 |
 |
yisheyuanzhang2h 49m ago
48
量变产生质变
|
 |
SunShare2h 47m ago
49
个人理解是量变到质变的一个过渡点。
毕竟人类文明历史才 20 万多年，掌握的知识在“短暂”时间内，可以被模型“学习”完，届时会产生新知识（至少人类还掌握） |
 |
wanei2h 35m ago
50
我的理解是参数越多，联系的点也多，组合出有意义的概率变大，组合的角度更多更让人想不到。表现出来的就是更强更意外的能力。
|
 |
canyue78972h 25m ago
51
训练过大模型的都知道，大模型的智能同训练的过程并不是线性关系。刚开始训练的时候，大模型完全不懂任何的事情，回答的也是乱七八糟，但是到了训练到一个点的时候的话，模型就突然涌现出智能，这个智能就是突然就出现了，在这个点之前的话，没有任何的智能可言。
|
Select Language