竞争网络-算法原理与自实现
SOM神经网络
SOM基本原理
作者 : 老饼 日期 : 2022-06-09 04:41:37 更新 : 2022-08-11 11:41:26
本站原创文章,转载请说明来自《老饼讲解-BP神经网络》bp.bbbdata.com



SOM神经网络(Self-organizing Feature Map)是Kohonen在1981年提出的一种用于聚类的神经网络,是神经网络家族中经典、重要且广泛应用的一员。

本文主要介绍思想、原理,以便快速了解SOM是个什么样的算法。

SOM算法在matlab的老版本中使用的是逐样本训练,其算法细节与具体代码请查看《SOM-算法详解与重写》

SOM算法在matlab的新版本改为批量训练法,其算法细节与具体代码请查看《SOM-算法详解与重写(批量法)》。



  笔者语  



SOM不是一个困难的算法,但要讲清SOM,却是一个困难的问题。

笔者曾想一张文章讲完SOM,左揉右捏,后来发现,这鬼东西,越图快越不行。



为什么SOM必须慢慢讲述,主要是因为SOM的思想经历了三阶段:

  Kohonen规则  -->  单样本训练  -->  批量样本训练  

想直接讲述批量样本训练根本讲不了。

谨此,希望读者也不要图快,一步一步来。


本篇先聚焦于讲清SOM是个什么东西,解决什么问题,思路是什么,有什么特性,
而具体的算法细节与落地,放在《SOM-单样本训练算法》与《SOM-批量训练算法》中。





  01. 基于Kohonen规则的聚类算法  


  聚类问题  


口语描述:假设数据是一团团的,我们希望找出这些一团团数据的中心点(聚类中心),样本离哪个聚类中心最近,就将样本判为该聚类中心。


   基于Kohonen规则的聚类方法  


kohonen规则聚类很简单,

先随机初始化k个聚类中心点,

然后每次选出一个样本,将离它最近的聚类点往它移动,使该聚类点更靠近它,如此反复m次。


更新法则如下:



其中,                                       
:离样本最近的聚类中心点。
 : 学习率。                             



   kohonen规则的有效性  



kohonen规则虽然简单,然而它却是行之有效的。


且看一个Demo:



平面中有四簇数据,
我们先随机初始化5个聚类中心点,
然后使用Kohonen规则调整聚类中心点的位置,
 
可以看到,经过一定步数后,聚类中心点移到了四类数据的中心位置附近。


Demo代码:


% Kohonen聚类规则
rand('seed',70);
%------------生成样本数据-------------
dataC = [2.5,2.5;7.5,2.5;2.5,7.5;7.5,7.5]; % 生成四个样本中心
sn = 40;  % 样本个数
X = rand(sn,2)+dataC(mod(1:sn,4)+1,:); % 随机生成样本点


% -----------初始化聚类中心点--------------
kn = 5;              % 聚类中心点个数
C  = rand(kn,2)*10;  % 随机生成聚类中心
C0 = C;              % 备份聚类中心点的初始值


% -----------使用样本训练聚类中心点-----------
lr = 0.1;   % 学习率
for t = 1:50
    for i = 1:sn
        cur_x    = X(i,:);                             % 提取一个样本
        dist     = sum((repmat(cur_x,kn,1) - C).^2,2); % 计算样本到各个聚类中心点的距离
        [~,idx]  = min(dist);                          % 找出最近的聚类中心点
        C(idx,:) = C(idx,:)  + lr*(cur_x - C(idx,:));  % 将该聚类中心点往样本靠近
    end
end


% ----------画图------------------------
subplot(1,2,1)
plot(X(:,1),X(:,2),'*');
hold on 
plot(C0(:,1),C0(:,2),'or','MarkerFaceColor','g');


subplot(1,2,2)
plot(X(:,1),X(:,2),'*');
hold on 
plot(C(:,1),C(:,2),'or','MarkerFaceColor','g');




  02.  SOM聚类的思想  


SOM是Kohonen规则的改进,

它在更新离样本最近的聚类中心点P的的时候,会把P的邻近聚类中心点也一起更新。

请注意,初学者很容易误会,以为SOM所指的邻近聚类点就是目标聚类点附近的聚类点,其实不是,SOM对“邻近聚类点”有自己的定义。


  SOM聚类点的距离与邻近聚类点  



SOM是先引入一个拓扑结构,把所有聚类点连结在一起,然后籍此来定义距离。


拓扑结构


拓扑结构可以是一维的,二维的,三维的,等等,最常用是二维
例如最常用的二维六边形拓扑结构:



距离的定义



在SOM中,两点之间的距离,
是指在引入的拓扑结构中,这两点之间的最小边数。


邻近聚类点


点P的邻近聚类点是指与P的最小连结边数小于某个阈值的聚类点。
例如,
当邻域距离阈值为1时,点P的邻近聚类点,是与点P直接连接的点。    
当邻域距离阈值为2时,则是到达点P不超过2条边的聚类点。                
当邻域距离阈值为k时,就是指经过m(m<=k)条边可达点P的聚类点。



  SOM的更新方法  



SOM更新的方法与上面所说的Kohonen规则思想是一样的,
不同点在于,SOM在更新离样本最近的聚类中心点P的的时候,会把P的邻近聚类中心点也一起更新

    

更细节的,有以下三点:


1、更新邻近聚类点:
 
更新样本最近点P的同时,P的邻近聚类点也一起更新,(P的学习率要比邻近聚类点更大一些)。
  
 2、增加学习率的收缩机制:
随着更新步数,学习率越来越小。
 
 3、邻近距离收缩机制:
随着更新步数,邻近距离阈值越来越小,渐渐的,只有目标点及其邻边聚类点。 

比起纯粹的Kohonen规则,虽然改动不大,在代码编写上,却要复杂很多。
复杂是因为要初始化拓扑结构,获得点与点之间的距离矩阵(这里说的距离是上面所说的边数),以便在更新时获取邻近聚类点。



   说 明  


●  以上的更新方法来自matlab老版本的单样本训练算法(learnsom)。
●  matlab新版本已采用了批量更新算法(learnsomb)。             
两种方法的细节,我们都另起文章细讲,并扒出源码,重现matlab的实现逻辑。        

      




 


  03.  SOM神经网络的拓扑图  


  网络拓扑图  


SOM神经网络是典型的三层神经网络,
拓扑图如下:
 

第一层是输入层
第二层是隐层,

隐层有多少个隐节点,就代表有多少个聚类中心点 ( 聚类中心点的位置就是该隐节点与输入的连接权重 ) 。
第三层是输出层
输出层是one-hot格式(即[0 0 0 1]这样的格式),
它的节点与隐层节点个数一致,
它的值由隐层节点竞争得到, 即隐层节点哪个值最大,对应的输出节点就为1,其余为0。



  带隐层拓扑的网络拓扑图  


往往还会把隐层节点之间的拓扑结构一起画上,
 
则SOM的网络拓扑图会如下:
 

PASS:输出节点之间的拓扑结构对于最终模型的应用上是没有任何影响的,它只是在训练过程中需要使用。


  04.  SOM的模型表达式  


SOM的模型数学表达式为:




其中,


●  dist 为x和W的欧氏距离


例如,2输出3隐节点时,,

则:

 


●  compet 为竞争函数,

它将向量最大的值置为1,其实置0
例如,compet([ 2 5 3 ]) = [ 0 1 0 ]  

SOM模型输出的计算,简单来说,就是x离W哪行最近,就为1,其余为0.

背后意义就是离哪个聚类中心点近,就判为哪个聚类点。




  编后语  

本文我们先大概摸清SOM神经网络是什么,
它的思路其实并不复杂,只是Kohonen的基础上,在隐节点引入了一个拓扑结构来定义邻域
由于我们往往看到的基本都是带隐节点拓扑结构的网络拓扑图,很容易产生误会,以为隐层节点间相互连接,
其实隐节点的拓扑图只在训练阶段用于获取邻域节点,与最终的模型并没有任何关系。
在接下来的文章,我们把SOM的代码按matlab内部逻辑实现后,我们将更清晰SOM算法的具体细节与算法流程。

  End  








联系小饼