理解kNN算法
kNN最近邻域法是一个入门级的机器学习算法，常被用于解决分类问题。我们先引入一组数据，并将这一组数据进行可视化，以帮助我们进行理解。
import numpy as np
import matplotlib.pyplot as plt
raw_data_X = [[2.393533211, 2.331273381],
[3.110073483, 1.781539638],
[1.343808831, 3.368360954],
[3.882294042, 2.979179110],
[2.280362439, 2.866990263],
[7.423436942, 4.696522875],
[5.745051997, 3.033989803],
[9.172168622, 2.511101045],
[7.792783481, 3.424088941],
[5.839820817, 2.791637231]
]
raw_data_y = [0, 0, 0, 0, 0, 1, 1, 1, 1, 1]
我们引入两组数据，我们假设这是一组关于乳腺肿瘤的数据。
对于raw_data_X中的10组数据，它的第一个元素是指肿瘤发现的时间，第二个元素是指肿瘤的大小。
对于raw_data_y中的10个数据，与raw_data_X中的10组数据按顺序一一对应。0代表这个肿瘤是良性，1则代表这个肿瘤是恶性。
理解了两组数据的含义之后，我们运用matplotlib对其进行可视化。
X_train = np.array(raw_data_X) # 训练集
y_train = np.array(raw_data_y)
plt.scatter(X_train[y_train == 0, 0], X_train[y_train == 0, 1], color='g')
plt.scatter(X_train[y_train == 1, 0], X_train[y_train == 1, 1], color='r')
plt.show()
1
机器学习过程通常符合如图2的一个过程。我么这里传入的raw_data_X，raw_data_y就可以理解为训练数据集，而我们绘制出的这张图就可以理解为一个数学模型（实际上kNN算法相比其他算法并没有一个泾渭分明的模型概念）。
2
在有了一个模型以后，我们就要输入样例。我们新加入一个点，并用蓝色来表示这个点。这时候我们就得到了图三。
x = np.array([4.393607318, 2.865731514])
plt.scatter(x[0], x[1], color='b')
plt.show()
3
那么，这位新入院的“病人”，ta的肿瘤是良性还是恶性？
这时候，我们的kNN算法就可以进行一个预测。我们很容易看出，这实际上是一个分类的问题，我们kNN的思路就是，计算出训练集中的所有点与新引入的点的距离。
然后，我们需要对得到的距离进行排序，选取出K个最近的距离，这里我们假设是3。取出距离最近的3个点，根据这三个点的状态（我们这里的例子，状态即良性还是恶性），进行一个投票，根绝投票结果，少数服从多数，从而对新引入的点进行分类。
代码实现如下：
from math import sqrt
distances = []
for x_train in X_train:
d = sqrt(np.sum((x_train - x)**2))
distances.append(d)
nearest = np.argsort(distances)
print(nearest)
k = 3
topK_y = [y_train[neighbor] for neighbor in nearest[:k]]
print(topK_y)
# [3 6 9 1 0 4 2 8 5 7]
# [0, 1, 1]
根据代码输出结果，很不幸，这名病人有可能是恶性肿瘤。
