Jump to content
Main menu
Main menu
move to sidebar
hide
Navigation
Main page
Recent changes
Random page
freem
Search
Search
Appearance
Create account
Log in
Personal tools
Create account
Log in
Pages for logged out editors
learn more
Contributions
Talk
Editing
类脑计算
(section)
Add languages
Page
Discussion
English
Read
Edit
Edit source
View history
Tools
Tools
move to sidebar
hide
Actions
Read
Edit
Edit source
View history
General
What links here
Related changes
Special pages
Page information
Appearance
move to sidebar
hide
Warning:
You are not logged in. Your IP address will be publicly visible if you make any edits. If you
log in
or
create an account
, your edits will be attributed to your username, along with other benefits.
Anti-spam check. Do
not
fill this in!
= 关键算法介绍 = 类脑计算在算法层面引入了许多受神经科学启发的新概念。下面介绍几种关键的算法和模型,包括脉冲神经网络及其学习规则、能量最小化模型(Hopfield网络),以及自组织映射等无监督学习方法。这些算法共同推动了类脑计算朝着更生物逼真的方向发展。 == 脉冲神经网络(SNN, Spiking Neural Network) == '''脉冲神经网络'''是第三代神经网络模型的代表,它直接模拟生物神经元通过脉冲发放进行通信 (神经网络算法 - 一文搞懂SNN(脉冲神经网络) - 文章 - 开发者社区 - 火山引擎)。与传统神经网络使用连续激活值不同,SNN中的神经元以**离散的电压脉冲(也称“尖峰”)**作为信号。当神经元的膜电位累积超过某个阈值时,就会触发一次脉冲尖峰输出,随后膜电位复位,这一过程类似于生物神经元的放电机制 (神经网络算法 - 一文搞懂SNN(脉冲神经网络) - 文章 - 开发者社区 - 火山引擎)。由于脉冲具有时间间隔,SNN天然地把时间编码进了计算过程,使网络能够处理时序信息和动态信号 (神经网络算法 - 一文搞懂SNN(脉冲神经网络) - 文章 - 开发者社区 - 火山引擎) (神经网络算法 - 一文搞懂SNN(脉冲神经网络) - 文章 - 开发者社区 - 火山引擎)。例如,在声音处理、传感器信号等需要时间维度的任务中,SNN相对于传统神经网络有潜在优势。 SNN的工作原理可以这样理解:神经元之间通过'''突触'''连接,突触传递的不是连续电流值,而是一连串0/1式的脉冲事件。每个脉冲到达突触时会对后续神经元的膜电位造成瞬时影响(可能使其电位升高一点)。神经元膜电位像一个充电容器,持续受到前驱脉冲的积累影响并发生泄露衰减(模拟膜电位的遗忘性)。如果在短时间内累积足够多刺激使膜电位超阈,则该神经元放电(输出脉冲);否则保持静默。在SNN中,'''神经元的状态随时间演化''',网络通过脉冲的时间编码来计算。这种机制更接近真实大脑信息处理,因此被视作通往高效智能计算的新途径 (神经网络算法 - 一文搞懂SNN(脉冲神经网络) - 文章 - 开发者社区 - 火山引擎)。 值得注意的是,由于脉冲信号的离散性和非线性,传统梯度下降算法难以直接用于训练SNN。研究者提出了多种变通方法,如基于阈值触发的近似导数(surrogate gradient)来训练深层SNN,或者先训练等价的非脉冲网络再转换为SNN。在下面的实操部分,我们将通过一个简单示例演示SNN中'''脉冲神经元模型'''的行为。 == 受神经科学启发的学习算法:STDP 突触可塑性 == 类脑计算不仅关注神经元的脉冲发放,还非常强调'''突触'''的作用。突触是连接神经元的桥梁,其连接强度(权重)决定了信号传递的效果。生物大脑中,突触连接会根据神经元活动而变化,被称为'''突触可塑性'''。其中一个著名机制是'''STDP(Spike-Timing-Dependent Plasticity,脉冲时序依赖可塑性)'''。STDP是一种'''无监督学习'''规则,其核心理念是:'''“同时激活的神经元会加强连接,不同步激活则削弱连接”''' (神经网络算法 - 一文搞懂SNN(脉冲神经网络) - 文章 - 开发者社区 - 火山引擎)。 具体来说,在STDP中,如果一个突触的'''前神经元'''的脉冲'''领先'''后神经元脉冲(即突触前脉冲先到,紧接着突触后神经元也发放脉冲),则认为这个突触对促成后神经元发火有贡献,因而加强该突触的权重(对应生物学上的'''长时程增强LTP''');反之,如果突触前脉冲'''滞后'''于突触后脉冲(即后 neuron 已发火但前 neuron 才来脉冲),说明前 neuron 脉冲对后 neuron 激活无益甚至多余,于是削弱该突触权重(对应'''长时程抑制LTD''') (神经网络算法 - 一文搞懂SNN(脉冲神经网络) - 文章 - 开发者社区 - 火山引擎)。通过这种基于脉冲时间差的调整,网络能够自行涌现出对输入模式的敏感性:经常'''按序共同激活'''的神经元连接更紧密,不常一起激活的连接变得松散。这与Hebb早期提出的学习准则“一起开火的神经元连在一起”不谋而合,只是STDP进一步刻画了时间先后的影响。 STDP使SNN在没有外部监督信号时也能进行学习,被视为实现'''自适应、自主学习'''的重要机制之一 (神经网络算法 - 一文搞懂SNN(脉冲神经网络) - 文章 - 开发者社区 - 火山引擎)。许多类脑不插电(脑风暴)系统利用STDP在实时学习环境下更新网络,比如让机器人在探索环境时,感觉-动作通路的突触通过STDP自动调整,以加强成功行动的神经链路。需要注意的是,STDP属于局部学习规则,不依赖全局误差,因此非常适合并行分布式实现,也契合生物神经网络的本地学习特征。 == 能量最小化模型及 Hopfield 网络 == 在1980年代,物理学和神经科学的交叉催生了一类'''能量最小化模型'''的神经网络,其中经典代表就是'''Hopfield 网络'''。Hopfield网络由约翰·霍普菲尔德在1982年提出,是一种循环(全连接)神经网络,能够作为'''联想记忆'''(内容可寻址存储)来工作 (霍普菲尔德神经网络 - 维基百科,自由的百科全书)。Hopfield网络的每个神经元与其他所有神经元相连(自身除外),连接权重是对称的(w_ij = w_ji),且没有神经元与自身相连(w_ii = 0) (霍普菲尔德神经网络 - 维基百科,自由的百科全书)。这种对称连接的设计使网络可以定义一个'''能量函数''',并保证网络状态更新时能量'''单调下降'''或维持不变 (霍普菲尔德神经网络 - 维基百科,自由的百科全书)。换言之,Hopfield网络在状态更新(神经元根据其他节点加权输入决定取1或-1)时,总会朝着某个能量极小值收敛,从而达到一个稳定状态 (霍普菲尔德神经网络 - 维基百科,自由的百科全书)。 Hopfield网络可用来存储模式:通过适当设置连接权重,特定二进制向量模式成为网络的低能量稳定态(“记忆”)。当提供一个含噪的输入时,网络动态更新会驱动状态演化,最终收敛到与输入“最接近”的记忆模式上——这实现了'''联想记忆'''和'''容错存储'''。例如,可以存储多张黑白二值图片(如文字或简单图形)在Hopfield网络的权重中,当输入部分缺损或带噪的图片数据时,网络会自动收敛恢复出完整的原始图片模式。这样的过程可以看作能量函数驱动下的优化:网络试图'''最小化能量''',等价于最大程度匹配记忆模式。 需要注意Hopfield网络的几个特点:由于其能量极小点可能有多个,网络可能收敛到'''局部极小值'''而非全局正确记忆 (霍普菲尔德神经网络 - 维基百科,自由的百科全书);存储的模式数量过多时,会出现混淆回忆或错误稳定态。同时,Hopfield网络的经典形式使用简单二元激活(+1/-1),后续也发展出连续版本和改进的能量函数。近年的'''现代 Hopfield 网络'''研究表明,通过修改能量函数,可以大幅提升存储容量,甚至将Hopfield机制融入深度网络中用作高容量记忆单元 (Hopfield Networks is All You Need)。总的来说,Hopfield网络体现了类脑计算中将'''记忆与计算融合'''的理念——以能量最优化形式模拟大脑联想记忆功能。 == 自组织映射(SOM)及无监督学习应用 == '''自组织映射'''(Self-Organizing Map,简称 SOM)是一种典型的'''无监督学习'''算法,由芬兰学者 Teuvo Kohonen 在1982年提出,故也称“Kohonen 网络”。SOM的作用是将'''高维数据映射到低维(通常二维)网格'''上,同时'''保持数据的拓扑结构'''关系 (探索自组织映射(SOM):机器学习中的神奇之旅_self-organizing mapping method (som)-CSDN博客)。换句话说,SOM能以一种拓扑保真的方式把复杂数据投影成直观的二维“地图”,相似的数据会出现在地图上相邻或同一区域,不相似的数据则相距较远。这一过程无需类别标签,是完全数据驱动的。 SOM的原理受到大脑中感觉皮层拓扑映射的启发——例如大脑中的视觉皮层对视网膜具有拓扑映射关系。SOM网络由排列成二维网格的“神经元”节点组成,每个节点对应一个原型向量(权重向量),维度与输入数据相同。训练时,对于每个输入样本,算法寻找'''最佳匹配单元'''(BMU,即权重最接近该样本的节点),然后让该节点及其邻近节点的权重'''朝向输入样本'''做微调。这意味着获胜节点及周围邻域逐渐调整自己来“响应”该输入。随着大量样本迭代训练,不同节点会特化对不同模式的响应,整个地图形成对输入数据空间的近似表示 (探索自组织映射(SOM):机器学习中的神奇之旅_self-organizing mapping method (som)-CSDN博客)。重要的是,邻域的存在确保了'''拓扑连续性''':相似样本往往激活相邻节点,从而在网络权重中保留了数据的拓扑结构。 SOM有许多应用场景,尤其擅长'''数据可视化'''和'''聚类分析'''。比如在降维可视化中,用SOM把高维图像特征映射到2D彩色平面,观察聚类结构;在语音识别等领域,SOM可用于构建'''特征空间拓扑图'''来分析不同语音的分布。由于SOM不需要预先标签,它可用于探索性数据分析,帮助发现潜在模式。总的来说,自组织映射展示了无监督类脑算法如何'''自发涌现出对数据的组织结构''',这与大脑感知系统中无监督的自组织过程十分类似。
Summary:
Please note that all contributions to freem are considered to be released under the Creative Commons Attribution-ShareAlike 4.0 (see
Freem:Copyrights
for details). If you do not want your writing to be edited mercilessly and redistributed at will, then do not submit it here.
You are also promising us that you wrote this yourself, or copied it from a public domain or similar free resource.
Do not submit copyrighted work without permission!
Cancel
Editing help
(opens in new window)