[멋쟁이사자처럼 데이터분석 부트캠프 5기] 머신러닝 개괄 및 복습

0. 학습목표 

머신러닝의 핵심을 훑어보자

---

1. 머신러닝 이란?

• 정의:
  머신러닝은 명시적인 프로그래밍 없이 데이터를 통해 스스로 학습하고 예측하는 인공지능 기술이다.
• 배경/등장 이유:
  전통적인 규칙 기반 프로그램이 해결할 수 없던 **복잡한 문제(예: 얼굴 인식, 추천 시스템)**를 해결하기 위해 등장.
• 사용 사례:
  • 유튜브 추천
  • 자율주행 자동차
  • 질병 예측
  • 채용 자동화 등

---

2. 파이썬으로 머신러닝 실습

1) 필요한 라이브러리 불러오기

# 기본
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

# 데이터 전처리
from sklearn.preprocessing import LabelEncoder
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split

# 모델 평가
from sklearn.metrics import accuracy_score

# 사용할 알고리즘
from sklearn.linear_model import LogisticRegression

 

 

2) 학습 및 예측 할 데이터를 가져오기

iris_df = pd.read_csv('data/iris.csv')
iris_df

오늘은 붓꽃 데이터를 이용해보자 ~

 

3) EDA (탐색적 분석)

EDA를 통해 데이터의 타입, 종류, 형태 정도를 파악해야 한다.

# 간단하게 info만 찍어봄
iris_df.info()

 

내가 예상해야하는 컬럼인 target이 object로 문자형 데이터이다.
근데 대부분의 머신러닝 모델은 숫자형 컬럼으로 학습을 하기 때문에 
우리는 숫자형 데이터로 변환해야 한다.

 

4) 데이터 전처리

인코딩과 표준화 ...

---

1️⃣ Label Encoding (라벨 인코딩)

각 범주에 숫자를 1개씩 부여하는 방식

ex)

Red	0
Blue	1
Green	2

---

2️⃣ One-Hot Encoding (원-핫 인코딩)

각 범주를 컬럼으로 만들고, 해당하는 값에만 1, 나머지는 0

ex)

원래 값	Red	Blue	Green
Red	1	0	0
Blue	0	1	0
Green	0	0	1

---

iris_df에서 target은 LabelEncoder로 인코딩해보자 !

# label Encoder
encoder1 = LabelEncoder()
# 데이터를 학습한다.
encoder1.fit(iris_df['target'])
# 학습한 것을 토대로 변환한다.
df_enc1 = encoder1.transform(iris_df['target'])
df_enc1

➡️ 기존의 target에 있던 값들을 0, 1, 2로 라벨링 한 결과를 확인할 수 있다.

 

만약 인코딩 한 것을 다시 복원하고 싶다면 ?

# 복원
df_enc2 = encoder1.inverse_transform(df_enc1)
df_enc2

---

3️⃣ 표준화

표준화는 특성 간의 단위 차이를 없애기 위함이다.
어떤 특성은 0~1, 어떤 건 0~10,000 범위일 수도 있기 때문에 모든 특성을 비슷한 수준에서 비교하기 위해서는
표준화가 필요하다 !

target을 뺀 나머지 4개의 칼럼을 표준화 하자

# 표준화 작업을 위해 결과 데이터를 제외한다.
X = iris_df.drop('target', axis = 1)
X

# 표준화
scaler1 = StandardScaler()
# 학습한다
scaler1.fit(X)
# 변환한다
scaler_df = scaler1.transform(X)
scaler_df

 

만약 표준화 한 것을 복구하고 싶다면 ?

# 복원
scaler_df2 = scaler1.inverse_transform(scaler_df)
scaler_df2

 

 

5) 모델링 - 모델 학습 / 예측

# 학습용/평가용 데이터 나누기
x = scaler_df
y = df_enc1

train_x, test_x, train_y, test_y = train_test_split(x, y, test_size = 0.2, random_state = 0)

# 분류 모델 학습
md = LogisticRegression()
md.fit(train_x, train_y)

# 예측
pred = md.predict(test_x)
pred 

# 평가
accuracy_point = accuracy_score(test_y, pred)
accuracy_point

 

모델링 과정을 키워드만 써보자면

학습용/평가용 데이터 나누기 - 모델 생성하기 - 모델에 학습용 데이터 학습시키기 - 예측용 데이터로 예측하기 - 평가하기
순으로 가면 되겠다.

지금까지의 내용은 아주 아주 !! 기초적인 뼈대만 구성해놓은 것이고, 
제대로된 데이터셋으로 하면 더욱 복잡해질 것이다.

다음글에는 평가 지표들을 공부해서 정리해보아야겠다.

---

🪽 느낀점

머신러닝은 자격증 준비, 개인 데이콘 하면서 여러번 해봤는데, 아직도 갈 길이 먼거 같다.
우선 배워야할게 너무 많고, 개념 자체도 잘 이해되지 않는 부분도 많다.
그리고 본질적으로 수학과 관련된 개념 이해가 필요하기 때문에, 머리 아프다 ㅠㅋㅋ

그치만 더 다양한 데이터셋을 경험하면서 나만의 프로젝트도 꼭 해보고 싶다.
내가 좋아하는 랜덤포레스트도 얼른 배우고 싶다 !

 

출처: 멋쟁이사자처럼, 소프트캠퍼스