[머신러닝] K-최근접 이웃 알고리즘
K-최근접 이웃(k-Nearest Neighbors)를 사용해 빙어와 도미를 이진 분류한다.
생선분류
1. 데이터 준비
bream_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0, 31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0, 35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0]
bream_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0, 500.0, 340.0, 600.0, 600.0, 700.0, 700.0, 610.0, 650.0, 575.0, 685.0, 620.0, 680.0, 700.0, 725.0, 720.0, 714.0, 850.0, 1000.0, 920.0, 955.0, 925.0, 975.0, 950.0]
bream_length은 도미의 길이, bream_weight는 도미의 무게를 의미한다. 첫번째 도미의 길이는 25.4cm, 무게는 242.0g이라는 의미이다.
길이, 무게 같은 것을 특성(feature)이라고 부른다.
smelt_length = [9.8, 10.5, 10.6, 11.0, 11.2, 11.3, 11.8, 11.8, 12.0, 12.2, 12.4, 13.0, 14.3, 15.0]
smelt_weight = [6.7, 7.5, 7.0, 9.7, 9.8, 8.7, 10.0, 9.9, 9.8, 12.2, 13.4, 12.2, 19.7, 19.9]
빙어 데이터이다.
plt.scatter(bream_length, bream_weight)
plt.scatter(smelt_length, smelt_weight)
plt.xlabel('length')
plt.ylabel('weight')
plt.show()
두 특성을 그래프로 보기 위한 코드이다. 이런 그래프를 산점도(scatter plot)이라고 한다.
생선의 길이가 길수록 무게가 많이 나간다. 산점도 그래프가 일직선에 가까운 형태로 나타나는 경우를 선형(linear)적이라고 한다.
위 그래프에서 주황색은 빙어의 산점도, 파란색은 도미의 산점도이다.
2. 데이터 합치기
length = bream_length+smelt_length
weight = bream_weight+smelt_weight
빙어와 도미의 데이터를 합친다.
fish_data = [[l, w] for l, w in zip(length, weight)]
print(fish_data)
[[25.4, 242.0], [26.3, 290.0], [26.5, 340.0], [29.0, 363.0], [29.0, 430.0], [29.7, 450.0], [29.7, 500.0], [30.0, 390.0], [30.0, 450.0], [30.7, 500.0], [31.0, 475.0], [31.0, 500.0], [31.5, 500.0], [32.0, 340.0], [32.0, 600.0], [32.0, 600.0], [33.0, 700.0], [33.0, 700.0], [33.5, 610.0], [33.5, 650.0], [34.0, 575.0], [34.0, 685.0], [34.5, 620.0], [35.0, 680.0], [35.0, 700.0], [35.0, 725.0], [35.0, 720.0], [36.0, 714.0], [36.0, 850.0], [37.0, 1000.0], [38.5, 920.0], [38.5, 955.0], [39.5, 925.0], [41.0, 975.0], [41.0, 950.0], [9.8, 6.7], [10.5, 7.5], [10.6, 7.0], [11.0, 9.7], [11.2, 9.8], [11.3, 8.7], [11.8, 10.0], [11.8, 9.9], [12.0, 9.8], [12.2, 12.2], [12.4, 13.4], [13.0, 12.2], [14.3, 19.7], [15.0, 19.9]]
머신러닝 패키지 사이킷런(scikit-learn)을 사용하기 위해서는 각 특성의 리스트를 세로 방향으로 늘어뜨린 2차원 리스트를 만들어야 한다.
즉 49개의 생선에 대해 [길이, 무게] 데이터가 리스트에 들어가 있다.
3. 정답 데이터 만들기
도미는 1, 빙어는 0으로 표현한다.
머신러닝에서는 2개를 구분하는 경우 찾으려는 대상을 1로 놓고 그 외에는 0으로 놓는다.
fish_target = [1]*35 + [0]*14
print(fish_target)
[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]
도미와 빙어를 순서대로 나열했기 때문에 정답 리스트는 1이 35, 0이 14번 등장한다.
4. K-최근접 이웃 알고리즘을 이용한 훈련
from sklearn.neighbors import KNeighborsClassifier
kn = KNeighborsClassifier()
kn.fit(fish_data, fish_target)
kn.score(fish_data, fish_target)
1.0
import sklearn 후 model = sklearn.neighbors.KNeighborsClassifier()를 써도 된다.
임포트한 KNeighborsClassifier 클래스의 객체를 만든다. 그 후 이 객체에 fish_data와 fish_target을 전달해 도미를 찾기 위한 기준을 학습시킨다. 이 과정을 훈련이라고 한다. 사이킷런에서는 fit메소드를 이용한다.
fit메소드는 주어진 데이터로 알고리즘을 훈련시킨 뒤 훈련한다.
객체(모델) kn이 얼마나 잘 훈련되었는지 평가하기 위해 score메소드를 사용한다. score메소드는 0에서 1 사이의 값을 반환하고 1은 모든 데이터를 정확히 맞혔다는 것이고, 0.5라면 절반만 맞혔다는 의미이다. 이러한 값을 정확도(accuracy)라고 한다.
K-최근접 이웃 알고리즘
K-최근접 이웃 알고리즘은 어떤 데이터에 대한 답을 구할 때 주위의 다른 데이터를 보고 다수를 차지하는 것을 정답으로 사용한다.
kn.predict([[30, 600]])
array([1])
predict 메소드는 새로운 데이터의 정답을 예측한다. 반환되는 값이 1이므로 길이가 30, 무게가 600인 생선을 도미로 예측했다.
이렇게 k-최근접 이웃 알고리즘을 위해 준비해야 할 일은 데이터를 모두 가지고 있는게 전부이다. 새로운 데이터에 대해 예측할 때는 가장 가까운 직선거리에 어떤 데이터가 있는지를 살피기만 하면 된다.
단점은 k-최근접 이웃 알고리즘의 이런 특징 때문에 데이터가 아주 많은 경우 사용하기 어렵다. 데이터가 크기 때문에 메모리가 많이 필요하고 직선거리를 계산하는 시간이 많이 걸리기 때문이다.
print(kn._fit_X)
[[ 25.4 242. ]
[ 26.3 290. ]
[ 26.5 340. ]
[ 29. 363. ]
[ 29. 430. ]
[ 29.7 450. ]
[ 29.7 500. ]
[ 30. 390. ]
[ 30. 450. ]
[ 30.7 500. ]
[ 31. 475. ]
[ 31. 500. ]
[ 31.5 500. ]
[ 32. 340. ]
[ 32. 600. ]
[ 32. 600. ]
[ 33. 700. ]
[ 33. 700. ]
[ 33.5 610. ]
[ 33.5 650. ]
[ 34. 575. ]
[ 34. 685. ]
[ 34.5 620. ]
[ 35. 680. ]
[ 35. 700. ]
[ 35. 725. ]
[ 35. 720. ]
[ 36. 714. ]
[ 36. 850. ]
[ 37. 1000. ]
[ 38.5 920. ]
[ 38.5 955. ]
[ 39.5 925. ]
[ 41. 975. ]
[ 41. 950. ]
[ 9.8 6.7]
[ 10.5 7.5]
[ 10.6 7. ]
[ 11. 9.7]
[ 11.2 9.8]
[ 11.3 8.7]
[ 11.8 10. ]
[ 11.8 9.9]
[ 12. 9.8]
[ 12.2 12.2]
[ 12.4 13.4]
[ 13. 12.2]
[ 14.3 19.7]
[ 15. 19.9]]
print(kn._y)
[1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0
0 0 0 0 0 0 0 0 0 0 0 0]
사이킷런의 KNeighborsClassfier 클래스도 마찬가지이다. 이 클래스는 _fit_X속성에 앞서 전달한 fish_data를 모두 가지고 있다.
_y 속성에는 fish_target을 가지고 있다.
결과적으로 실제로 k-최근접 이웃 알고리즘은 무언가 훈련되는게 없다. fit메소드에 전달한 데이터를 모두 저장하고 있다가 새로운 데이터가 등장하면 가장 가까운 데이터를 참고해 분류하는 방식이다.
kn49 = KNeighborsClassifier(n_neighbors=49)
기본적으로 KNeighborsClassfier 클래스의 데이터 참고 개수 기본값은 5이다. 이 기준은 n_neighbors 매개변수로 바꿀 수 있다.
위 코드를 통해 참고 데이터를 49개로한 kn49모델이다.
가장 가까운 데이터 49개를 사용하는 k-최근접 이웃 모델에 fish_data를 적용하면 사실상 모든 생선을 사용하여 예측하게 된다. 다시 말하면 fish_data의 데이터 49개 중에 도미가 35개로 다수를 차지하므로 어떤 데이터를 넣어도 무조건 도미로 예측할 것이다.
kn49.fit(fish_data, fish_target)
kn49.score(fish_data, fish_target)
0.7142857142857143
print(35/49)
0.7142857142857143
fish_data에 있는 생선 중에 도미가 35개이고 빙어가 14개이므로 kn49 모델은 도미만 올바르게 맞히기 때문에 다음과 같은 정확도가 나온다.
n_neighbors를 49로 두는 것은 좋지 않다. 기본값을 5로 하여 도미를 완벽하게 분류한 모델을 사용하는게 좋다.