[멋쟁이사자처럼 데이터분석 부트캠프 5기] 데이터 분석을 위한 전처리 과정 알아보기

0. 학습목표

- 데이터 분석을 위한 대표적인 라이브러리 Pandas, Numpy, scipy... 사용에 익숙해 지는 것
- 조건에 해당하는 데이터를 막힘없이 추출하기

 

---

1. 라이브러리 불러오기

데이터를 불러오기 전 가장 먼저 수행해야 할 것은
라이브러리 불러오기
이다.

import pandas as pd
import numpy as np

 

구분	Pandas	Numpy
🔍 주요 목적	표 형태(tabular data) 다루기 (엑셀 느낌)	행렬 다루듯이 데이터를 관리
📦 주요 객체	DataFrame, Series	ndarray (N-dimensional array)
📐 구조	열(column) 이름과 행(row) 인덱스를 가짐	숫자만 있는 다차원 배열
⚡ 성능	비교적 느림 (하지만 유연함)	매우 빠름 (C기반, 벡터화 연산)

 

---

2. 데이터 불러오기

df1 = pd.read_csv('csv 파일 경로', encoding = 'euc-kr')
df1

위 코드는 csv 파일을 불러올 때 코드이다.
한글이 있는 파일은 불러오면서 깨질 수 있기 때문에 encoding = 'euc-kr'을 붙여주면 깨지지 않는다.

만약 다른 포멧들도 불러오고 싶다면 아래 표 참고

함수	읽는 파일 형식	예시 파일명	설명
pd.read_csv()	CSV 파일	'data.csv'	콤마(,)로 구분된 텍스트 파일
pd.read_excel()	Excel 파일 (.xlsx, .xls)	'data.xlsx'	엑셀 시트 데이터
pd.read_json()	JSON 파일	'data.json'	딕셔너리/리스트 형태 데이터
pd.read_html()	HTML 테이블	'http://example.com'	웹페이지에 있는 테이블 불러오기
pd.read_sql()	SQL 쿼리 결과	SQL 연결 필요	데이터베이스 쿼리 결과

 

---

3.  reindex, loc, iloc 복습하기

예제를 연습할 데이터 프레임(df1)은 학생들의 기본 정보와 과목별 성적 데이터이다.

---

예제1) 컬럼 순서를 과학, 수학, 영어, 국어, 성별, 학년, 이름 순으로 바꾸어라.

➡️ reindex 함수를 이용하자

데이터프레임.reindex(columns = [컬럼1, 컬럼2, 컬럼3,......])

df2 = df1.reindex(columns = ['과학', '수학', '영어', '국어', '성별', '학년', '이름'])
df2

---

예제 1-1)

그럼 여기서 columns = [ 여기에 기존 데이터프레임 컬럼명을 다 쓰지 않고 일부만 넣는다면] 어떻게 될까?
국어, 영어, 수학 컬럼만 넣고 출력해보자.

df3 = df1.reindex(columns = ['국어', '영어', '수학'])
df3

그럼 정확히 국어, 영어, 수학 컬럼만 뽑힌다.
reindex는 원하는 컬럼만 추출 할 때도 사용할 수 있다.

---

 

예제2) 인덱스가 0, 2, 4인 데이터만 가져오기

➡️ 인덱스에 접근하여 데이터를 가져올 때는 loc[] 을 사용한다.
가져올 인덱스가 여러개이기 때문에 [0, 2, 4] 리스트로 한 번 묶어서 loc[]에 넣어준다.

df2 = df1.loc[[0, 2, 4]]
df2

 

⭐️ 꼭 알고가자 !!

인덱스는 순서값이 아니다 ❌❌❌
각 행을 식별하기 위한 식별자이다.🙆‍♂️🙆‍♂️🙆‍♂️

---

 

예제3) 행의 나열된 순서가 3, 1, 2 번째에 있는 순서로 데이터를 가져오기

➡️ 순서값에 접근하여 데이터를 가져올 때는 iloc[] 을 사용한다.

현재 데이터프레임의 인덱스가 행 순서대로 적용되고 있기 때문에,
인덱스를 '이름'으로 재설정 하고 해당 예제를 풀 것이다.

위의 경우 3번째-1번째-2번째 순서라면 수현-영희-민수 순서로 출력되어야 한다.

df3 = df1.iloc[[3, 1, 2]]
df3

 

---

4. filter 사용하기

예제4) 이름, 국어, 영어 컬럼만 필터링 해오기

➡️ filter() 를 사용하자

df2 = df1.filter(['이름', '국어', '영어'])
display(df2)

💭 지금보니 컬럼명으로 원하는 컬럼을 추출하는 방법은 굉장히 많다.

---

예제5) 인덱스가 3, 0, 2, 8인 행을 가져오기 (8은 없는 인덱스 ❗️)

➡️ filter() 에서 옵션으로 axis = 0 을 넣어주어야 한다.

df3 = df1.filter([3, 0, 2, 8], axis = 0)
display(df3)

없는 인덱스인 8은 무시하고, 3, 0, 2 인덱스만 가져온다.

---

참고 !!
loc[], iloc[] 에서 없는 인덱스/순서값을 넣으면 오류가 나지만
filter() 에서는 오류가 나지 않는다.

---

5. 데이터 정렬하기

sort_values() 사용

예제6) '국어' 컬럼을 기준으로 오름차순 정렬하기

➡️ sort_values()의 디폴트 값은 "오름차순" 이다.
내림차순으로 정렬하고 싶다면 ascending = False 옵션을 넣는다.

df2 = df1.copy()

df2.sort_values('국어', inplace = True)

display(df1)
display(df2)

국어 점수가 오름차순으로 정렬된 것을 확인 할 수 있다.

---

예제7) 성별을 기준으로 오름차순(남자가 0, 여자가 1) 정렬 하고, 같은 성별 내에서 국어 성적이 높은 순서대로 정렬하여라.

성별 컬럼으로 우선 정렬한 후 국어를 정렬해야하기 때문에 ['성적', '국어'] 순으로 접근한다.
성별은 오름차순, 국어는 내림차순 이기 때문에 옵션으로 ascending = [True, False] 를 줘야한다.

df2 = df1.copy()

df2.sort_values(['성별', '국어'], inplace=True, ascending = [True, False])

display(df1)
display(df2)

 

성별은 남자(0) -> 여자 (1) 오름차순 되었고,
국어는 각각 내림차순으로 정렬 되었다.

---

예제8) 인덱스가 '이름'일 때, 인덱스를 기준으로 오름차순 정렬하여라.

➡️ sort_index() 를 사용하자.

# 원본 데이터프레임을 훼손하지 않기 위해 copy 떠주기
df2 = df1.copy()
# 인덱스를 이름으로 설정
df3 = df2.set_index('이름')

df3.sort_index()

한글 가나다 순으로 정렬된 것을 확인할 수 있다.
이는 인덱스가 숫자가 아니더라도 문자열 정렬이 되는 것으로 확인된다.

---

오늘의 회고 📙

예전에 빅분기 실기 공부했던 기억이 새록새록 피어났다.
filter함수에 더 복잡한 조건을 걸어서 사용했던거 같은데,
이번에 실기 다시 공부하면서 짚어봐야겠다.

loc, iloc도 계속 헷갈렸는데 이제 절대 안까먹을거 같다.
loc은 인덱스, iloc은 순서값 !

출처 : 멋쟁이사자처럼, 감자슈니