昨天在学习一维分类问题是，今天突然想到一个问题，
我们在一位分类的问题是，非常看重的一点是否可分，
比如同一类别的点，它的定义域是否都落在一起，只有大部分定义域都落在一个定义域里，才能称作线性可分，否则这个问题就是无解。
而多位的问题，完全可以分开考虑，就是多维的问题可以先分析一维的问题，多维问题是一维问题的乘积。比如第一维可以分为3个类别，第二位可以分为2个类别，那么这些数据集就可以分为6(32)个类别。而如果第一维只能分成3类，而第二维不可分，不可分就是1类，那么总共可以分为3(31)类。
知道这个内容，我相信你在分类问题上就变得非常容易了。
而且我们现在就可以对神经元做更多的认知了。
首先 w*x +b , 其实通过训练w、b，让x映射到另外的值域，然后通过激活函数relu，取这个值域其中一段。它怎么知道取那段值域，其实就是通过前面说的可分。
relu 激活函数的特点是什么？
让大于0的值，保持不变，让小于0的值，限制维0。
如果我们把一段我们感兴趣的定义域，映射到大于0的地方，那么这个感兴趣的定义域必然被保留下来。相当于relu能把感兴趣的定义域保留下下，对感兴趣的定义域感兴趣，但是relu只能分为两段，感兴趣和不感兴趣。如果想要分为三段，那么我们就要在感兴趣的数据段，继续分类，这样就能把感兴趣的分类上，分出普通感兴趣的值域，和更感兴趣的值域。
其实如果结合softmax激活函数，那么其实可以在一维空间里，分出很多类别的，虽然relu层只能分出喜欢和不喜欢的，但是在喜欢的基础上我们在加上softmax，softmax会找出最喜欢的那一段，而忽略其它次喜欢的地方，所以每一个带有relu激活函数的神经元都可以构成一段自己喜欢的区间。
