首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 网络技术 > 网络基础 >

请教关于前馈网络线性可分的有关问题

2012-03-14 
请问关于前馈网络线性可分的问题书上说非线性可分问题,加入一个隐层,将输入映射到另外一个空间,就有可能成

请问关于前馈网络线性可分的问题
书上说非线性可分问题,加入一个隐层,将输入映射到另外一个空间,就有可能成为线性可分问题。
假设输入向量为x(i),   输出向量为y(j),   阀值向量v(j),   单层网络权矩阵w(i*j),  
y   =   f(x*w   +   v)
加入一个隐层,设隐层输出向量为z(k),   输入层到隐层权矩阵w1(i*k),   隐层阀值向量v1(k),   隐层到输出层权矩阵w2(k*j),   输出层阀值向量v2(j)
z   =   f1(x*w1   +   v1)
y   =   f2(z*w2   +   v2)   =   f2(f1(x*w1   +   v1)*w2   +   v2)
如果选激活函数f1为线性函数,f1(x)   =   k*x
f1(x*w1+v1)*w2   =   x*f1(w1)*w2+f1(v1)*w2,
y   =   f2(x*f1(w1)*w2   +   f1(v1)*w2+v2)
w1是i*k的矩阵,w2是k*i的矩阵,v1是k维向量,v2是j维向量
f1(w1)*w2得到一个i*j的矩阵,f1(v1)*w2得到j维向量,f1(v1)*w2+v2可以写到一起,   形成:
y   =   f2(x*w '   +   v ')       w '(i*j)   =   f1(w1)   *   w2,   v '(j)   =   f1(v1)*w2+v2
还是单层网络的样子..   怎样增强的分类能力?

不知道我这里的理解哪里有错误?是否是激活函数不能选线性函数?


[解决办法]
如果楼上学过高等代数则可以这么想:如果激活函数是线性的,则神经网络在本质上可以看成一个线性变换器
一个在低维情况下的不可分问题在高维下就可能会变的可分.

线性变换在本质上其实可以逼近任何非线性函数
[解决办法]
不明LZ在说什么
[解决办法]

探讨
如果楼上学过高等代数则可以这么想:如果激活函数是线性的,则神经网络在本质上可以看成一个线性变换器
一个在低维情况下的不可分问题在高维下就可能会变的可分.

线性变换在本质上其实可以逼近任何非线性函数

[解决办法]
不知,帮顶

热点排行