06 SOM 自组织神经网络#

1. 本章定位#

SOM 属于无导师学习，重点是竞争学习、Winner-Take-All、优胜邻域和 Kohonen 学习算法。

2. 自组织学习#

自组织学习是指网络通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数和结构。

SOM 的自组织功能主要通过竞争学习实现。

3. 分类与聚类#

分类：在类别知识或导师信号指导下，把输入模式分配到已知类别。

聚类：无导师分类，把相似模式划为一类，不相似模式分开。

相似性测度：

欧氏距离：

余弦相似度：

4. 竞争学习 Winner-Take-All#

竞争学习规则：

输出神经元互相竞争，每一时刻只有一个输出神经元被激活，称为获胜神经元，其余被抑制。

步骤：

1. 对输入向量 $X$ 和权向量 $W_j$ 归一化。
2. 比较输入向量与各权向量的相似性。
3. 找到最相似的权向量，对应神经元获胜。
4. 调整获胜神经元权值。

获胜条件：

等价于：

输出：

普通竞争学习中获胜权值调整：

5. SOM 网络特点#

SOM 由 Kohonen 提出，因此也称 Kohonen 网络。

结构：

输入层 -> 输出竞争层

SOM 与普通竞争学习的区别：

不仅获胜神经元调整权值，获胜神经元邻域内的神经元也会按距离远近不同程度调整权值。

6. 优胜邻域#

优胜邻域是以获胜神经元为中心的一片区域。

特点：

1. 初始邻域较大。
2. 随训练次数增加不断收缩。
3. 最终可收缩到半径为零。
4. 离获胜神经元越近，调整幅度越大。

7. Kohonen 学习算法#

1. 初始化输出层权向量并归一化。
2. 设置初始优胜邻域 $N_{j^*}(0)$ 和学习率 $\eta$。
3. 输入一个归一化样本 $\hat X^p$。
4. 计算 $\hat W_j^T\hat X^p$，选择点积最大的获胜节点 $j^*$。
5. 定义当前优胜邻域 $N_{j^*}(t)$。
6. 调整邻域内所有节点权值：

其中：

学习率规律：

课件给出的形式：

7. 学习率衰减到 0 或预定小值时结束。

8. 本章考点#

必背：

1. 自组织学习定义。
2. 分类与聚类区别。
3. Winner-Take-All。
4. SOM 与普通竞争学习区别。
5. Kohonen 学习算法流程。
6. 权值更新公式。