上次介紹了KNN的基本原理，以及KNN的幾個竅門，這次就來用sklearn實踐一下KNN算法。

一.Skelarn KNN參數概述

要使用sklearnKNN算法進行分類，我們需要先了解sklearnKNN算法的一些基本參數，那么這節就先介紹這些內容吧。

def KNeighborsClassifier(n_neighbors = 5,weights = 'uniform',algorithm = '',leaf_size = '30',p = 2,metric = 'minkowski',metric_params = None,n_jobs = None)- n_neighbors: 這個值就是指KNN中的"K"了，前面說到過，調整K值，算法會有不同的效果。 - weights（權重）：最普遍的 KNN 算法無論距離如何，權重都一樣，但有時候我們想搞點特殊化，比如距離更近的點讓它更加重要。這時候就需要 weight 這個參數了，這個參數有三個可選參數的值， 決定了如何分配權重。參數選項如下：? 'uniform'：不管遠近權重都一樣，就是最普通的 KNN 算法的形式。? 'distance'：權重和距離成反比，距離預測目標越近具有越高的權重。? 自定義函數：自定義一個函數，根據輸入的坐標值返回對應的權重，達到自定義權重的目的。 - algorithm：在 sklearn 中，要構建 KNN 模型有三種構建方式，1. 暴力法，就是直接計算距離存儲比較的那種放松。2. 使用 kd 樹構建 KNN 模型 3. 使用球樹構建。 其中暴力法適合數據較小的方式，否則效率會比較低。如果數據量比較大一般會選擇用 KD 樹構建 KNN 模型，而當 KD 樹也比較慢的時候，則可以試試球樹來構建 KNN。參數選項如下：? 'brute' ：蠻力實現? 'kd_tree'：KD 樹實現 KNN? 'ball_tree'：球樹實現 KNN ? 'auto'： 默認參數，自動選擇合適的方法構建模型不過當數據較小或比較稀疏時，無論選擇哪個最后都會使用 'brute' - leaf_size：如果是選擇蠻力實現，那么這個值是可以忽略的，當使用KD樹或球樹， 它就是是停止建子樹的葉子節點數量的閾值。默認30，但如果數據量增多這個參數需要增大， 否則速度過慢不說，還容易過擬合。 - p：和metric結合使用的，當metric參數是"minkowski"的時候，p=1為曼哈頓距離，p=2為歐式距離。默認為p=2。 - metric：指定距離度量方法，一般都是使用歐式距離。? 'euclidean' ：歐式距離? 'manhattan'：曼哈頓距離? 'chebyshev'：切比雪夫距離? 'minkowski'： 閔可夫斯基距離，默認參數 - n_jobs：指定多少個CPU進行運算，默認是-1，也就是全部都算。

二. KNN代碼實例

KNN算法算是機器學習里面最簡單的算法之一了，我們來sklearn官方給出的例子，來看看KNN應該怎樣使用吧：

數據集使用的是著名的鳶尾花數據集，用KNN來對它做分類。我們先看看鳶尾花長的啥樣。

上面這個就是鳶尾花了，這個鳶尾花數據集主要包含了鳶尾花的花萼長度，花萼寬度，花瓣長度，花瓣寬度4個屬性（特征），以及鳶尾花卉屬于『Setosa，Versicolour，Virginica』三個種類中的哪一類（這三種都長什么樣我也不知道）。

在使用KNN算法之前，我們要先決定K的值是多少，要選出最優的K值，可以使用sklearn中的交叉驗證方法，代碼如下：

from sklearn.datasets import load_iris from sklearn.model_selection import cross_val_score import matplotlib.pyplot as plt from sklearn.neighbors import KNeighborsClassifier#讀取鳶尾花數據集 iris = load_iris() x = iris.data y = iris.target k_range = range(1, 31) k_error = []#循環，取k=1到k=31,查看誤差效果 for k in k_range:knn = KNeighborsClassifier(n_neighbors=k)# cv參數決定數據集劃分比例，這里是按照5:1劃分訓練集和測試集scores = cross_val_score(knn, x, y, cv=6, scoring='accuracy')k_error.append(1 - scores.mean())#畫圖，x軸為k值，y值為誤差值 plt.plot(k_range, k_error) plt.xlabel('Value of K for KNN') plt.ylabel('Error') plt.show()

運行后，我們可以得到下面這樣的圖:

有了這張圖，我們就能明顯看出K值取多少的時候誤差最小，這里明顯是K=11最好。當然在實際問題中，如果數據集比較大，那為減少訓練時間，K的取值范圍可以縮小。

有了K值我們就能運行KNN算法了，具體代碼如下:

import matplotlib.pyplot as plt from numpy import * from matplotlib.colors import ListedColormap from sklearn import neighbors, datasetsn_neighbors = 11#導入一些要玩的數據 iris = datasets.load_iris() x = iris.data[:, :2] #我們只采用前兩個feature，方便畫圖在二維平面顯示 y = iris.targeth = .02 #網格中的步長# 創建彩色的圖 cmap_light = ListedColormap(['#FFAAAA', '#AAFFAA', '#AAAAFF']) cmap_bold = ListedColormap(['#FF0000', '#00FF00', '#0000FF'])#weights 是KNN模型中的一個參數，上述參數介紹中有介紹，這里繪制兩種權重參數下KNN的效果圖 for weights in ['uniform', 'distance']:# 創建了一個knn分類器的實例，并擬合數據。clf = neighbors.KNeighborsClassifier(n_neighbors, weights=weights)clf.fit(x, y)# 繪制決策邊界。為此，我們將為每個分配一個顏色# 來繪制網格中的點 [x_min, x_max]x[y_min, y_max].x_min, x_max = x[:, 0].min() - 1, x[:, 0].max() + 1y_min, y_max = x[:, 1].min() - 1, x[:, 1].max() + 1xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h))Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])# 將結果放入一個彩色圖中Z = Z.reshape(xx.shape)plt.figure()plt.pcolormesh(xx, yy, Z, cmap=cmap_light)# 繪制訓練點plt.scatter(x[:, 0], x[:, 1], c=y, cmap=cmap_bold)plt.xlim(xx.min(), xx.max())plt.ylim(yy.min(), yy.max())plt.title("3-Class classification (k = %i, weights = '%s')"% (n_neighbors, weights))plt.show()

KNN和Kmeans

前面說到過，KNN和Kmeans聽起來有些像，但本質是有區別的，這里我們就順便說一下兩者的異同吧。

相同：

K值都是重點

都需要計算平面中點的距離

相異：
Knn和Kmeans的核心都是通過計算空間中點的距離來實現目的，只是他們的目的是不同的。KNN的最終目的是分類，而Kmeans的目的是給所有距離相近的點分配一個類別，也就是聚類。

簡單說，就是畫一個圈，KNN是讓進來圈子里的人變成自己人，Kmeans是讓原本在圈內的人歸成一類人。

總結

以上是生活随笔為你收集整理的深入浅出KNN算法(二) sklearn KNN实践的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。