[Python]Machine Learning1:KNN, Decision Tree

 

K-Nearest Neighbors algorithm
→ 머신러닝의 대표적 알고리즘 중 하나

영화 종류를 찾는 경우

• Machin Learning은 알고리즘을 통해 데이터를 분석해 알아서 레이블을 찾는다.
• 속성을 통해 레이블이 Ramance인지 Action인 지 알 수 있다.
• 구현가능한 레이블의 종류
  • class : 범주형(category) : 분류기.
  • 정수, 실수(숫자) : 수치형 : 예측기.

• KNN이란 알고리즘을 만들어서 import를 한 경우의 코드이다.
• group에 labels를 붙여서 분류했을 때
  [1., 1.1] → A
  [1, 1.]  → A
  [0., 0.]  → B
  [0, 0.1]  → B
• [0.2, 0.2]라는 입력값을 주면
• 위 4개의 데이터 중에서 가까운 3개를 찾으면 B, B, A이다.
• 따라서 레이블 결과는 B이다.
• BBA이기 때문에 B일 확률을 2/3, 75%라고 할 수 있다.

---

카메라 가격 Price를 예측해보는 경우

가까운 데이터자료에 가중치를 더할 수 있다.

---

Decision Tree Classifier
→ 의사결정트리.
분류기의 대표적 알고리즘.

레이블: 과일의 종류를 찾아보자.

• 속성 : Diameter 길이와 Color 색으로
• 레이블: 과일의 종류를 찾아보면 
• 길이와 색 중 어떤 걸로 가지를 타고 내려갈 지 애매한 경우에
  엔트로피 알고리즘이라는 것을 사용할 수 있다.
• 엔트로피로 길이와 속성 중 어떤 걸 먼저 확인할 지 분류한다.
• 엔트로피는 계산속도가 최상이라고 한다.

엔트로피 계산을 해보면 Apple이 나오는 것을 알 수 있다.