距离度量

K近邻法k-NN是一种基本的分类与回归方法。对于一个训练数据集对新输入的实例在训练数据集中找到与该实例最邻近的k个实例就把该输入实例分为这个类。特征空间中两个实例点的距离是两个实例点相似程度的反映。K邻近模型的特征空间一般是n维实数向量空间Rn。使用的距离是欧氏距离,但也可以是其他距离如更一般的Lp距离Lp distance或Minkowski距离Minkowski distance。设特征空间X是n维的实数向量空间Rnxi,xj∈Xxi(xi(1),xi(2),…,xi(n))T, xj(xj(1),xj(2),…,xj(n))T,xi,xj的Lp距离定义为:这里P≥1。当p2时称为欧氏距离。即当p1时称为曼哈顿距离。即当p♾️时是各个坐标距离最大值。即下图为二维空间中p取不同值时与原点的Lp距离为1Lp1的点的图形。从图中可以看到取不同的距离度量即p值不同时“距离≤1”的范围是不同的。随着p值的增加“距离1”的范围为增加的趋势。红色线表示p1时的点。在红色线内部的线是p1时的情况。虽然距离的定义中要求p≥1。