감자의 Data Lab 📊

멋쟁이사자처럼 데이터분석 부트캠프에 참여하면서 빅분기 실기 스터디도 병행했다.합격 인증글 및 후기를 적어볼것이다. 기본 베이스 스펙- 통계학과 졸업- 파이썬 공부해본 경험 있음- 9to6 데이터분석 부트캠프 수강- 빅분기 실기 9회차 불합격 ㅠ공부 방법- 약 3주 동안 매주 스터디 시간에 기출 공부 (매주 2시간씩)- 기출 9회분 다 풀어봄- 시나공 (퇴근후 딴짓) 빅데이터 분석기사 실기 도서 이용 스터디 후기자격증 시험은 대부분 독학으로 공부했었는데, 이번 빅분기 실기는 2번 째 도전이라다시 독학을 할 수 있을지 걱정이 앞섰다.근데 스터디에 참여하면서 규칙적으로 공부할 수 있는 환경이 주어져서 좋았다.온라인이지만 같이 공부하는 사람이 여럿 있으니까 동지애(?)가 생겨서 포기하지 않고끝까지 열심히 달렸다..

0. 학습목표 머신러닝의 핵심을 훑어보자1. 머신러닝 이란?정의:머신러닝은 명시적인 프로그래밍 없이 데이터를 통해 스스로 학습하고 예측하는 인공지능 기술이다.배경/등장 이유:전통적인 규칙 기반 프로그램이 해결할 수 없던 **복잡한 문제(예: 얼굴 인식, 추천 시스템)**를 해결하기 위해 등장.사용 사례:유튜브 추천자율주행 자동차질병 예측채용 자동화 등2. 파이썬으로 머신러닝 실습1) 필요한 라이브러리 불러오기# 기본import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport seaborn as sns# 데이터 전처리from sklearn.preprocessing import LabelEncoderfrom sklearn.preproc..

부트캠프 시작 후 첫 프로젝트가 끝났다.너무 후련하고, 배운 점도 참 많았다. 이 느낌을 까먹기 전에 회고록을 써보려고 한다. 1. 프로젝트 과정에 대한 이야기 📒처음 결정했던 주제는 청년층의 조기퇴사 요인에 대한 분석이었다. (나중에 보니 이 주제로 발표한 조가 있었다)강사님과 미팅을 하면서 우리가 원했던 방향과는 다르게 정책제안 보다는 현존하는 정책의 실효성을 따지는 분석으로 가는걸 고려하게 되었다.그래서 주제도 약간 다크하고, 아직 확정된 주제가 아니었기에 바꾸기로 결정한다.바로 "피자 판매 데이터 분석"으로방대한 양의 데이터를 구해준 조원 덕분에 데이터 수집은 참 수월했다. 👍분석에 앞서 깃 환경을 구축하는데 좀 힘들었다.깃을 학부 때 다뤄본적은 있지만 완벽하게 구조를 이해하고 있지는 않았다...

0. 학습목표✅ 수업시간에 배운 내용 정리하기✅ 데이터 정제 혼자 해보기✅ 삼성 라이온즈에 대한 분석 더 해보기1. 데이터 훑어보기 & 전처리오늘의 데이터는 프로야구 데이터이다 🧢⚾️분석에 앞서서 전처리를 할 것인데,, (사실 이 부분이 좀 어려웠다)롯데 vs 삼성 경기에서 롯데가 이겼다고 하자,그럼 이때 나는 분석을 위해서 롯데의 입장으로 이겼다와 삼성의 입장으로 졌다.이 두가지 데이터를 보고싶다.즉, 한 경기에 참여하는 두 팀의 입장 모두 데이터로 보고싶다는 뜻 !!근데 위 데이터에서 팀1을 기준으로 했을 때, 팀1의 입장만 볼 수 있다.그래서 위 데이터프레임을 카피해서 df2에 넣어주고 팀1 ↔️ 팀2 를 바꾼 df2를 df1에 concat 해줄 것이다.# 원본 데이터를 df1에 넣어준다.df1 ..

0. 학습목표- 내가 보려고 만든 셀레니움 가이드북- 셀레니움을 이용한 크롤링 연습 및 복습하기 1. 셀레니움 크롤링 개념 목적웹 페이지를 자동으로 열고, 탐색하고, 정보 추출 (ex. 로그인, 버튼 클릭, 데이터 수집 등)기본 원리실제 브라우저를 띄운 후, HTML 요소를 찾고 조작하여 데이터를 가져옴 ➡️ 정적크롤링지원 브라우저Chrome, Firefox, Safari 등 대부분의 브라우저핵심 구성 요소WebDriver: 브라우저를 자동화하는 객체 (ex. ChromeDriver)find_element(): 특정 HTML 요소를 찾는 함수click(), send_keys(): 버튼 클릭, 텍스트 입력 등의 인터랙션 수행 2. 네이버 회원가입을 셀레니움으로 해보자 1) 라이브러리 Importfrom ..

0. 분석에 들어가기 전에..드디어 데이터 다운 데이터 가지고 분석을 해보았다.이제 그래프도 좀 더 다이나믹 하고 의미있는 데이터이다 보니 재밌다.MPG, 복지패널데이터, 알콜 데이터 그리고 주식 데이터를 다뤄봤지만,가장 재밌었던 데이터는 알콜 데이터였다 🍺🍾🍷그리고 수업 시간 딥하게 다루진 않아서, 복습도 할 겸 다양한 분석들을 해보려 한다1. 데이터 소개데이터 맛보기를 위해 head()로 5개의 행만 가져와본다. country국가명beer_servings 맥주 양spirit_servings증류주 양wine_servings 와인 양total_litres_of_pure_alcohol 순수 알콜의 총 리터continent대륙 2. 데이터 전처리1) 데이터의 결측치 확인drinks.isna().sum(..

0. 학습 목표조인을 완벽하게 이해하고, 서브쿼리를 혼자서 완성해보는 것이 오늘 복습의 목표이다.1. 조인 JOINsql 복습하기 1편에서는 하나의 테이블에 대해서만 데이터를 가져왔다.근데 만약 두 개 이사의 테이블에서 한 번에 가져오고 싶다면 어떻게 해야할까?바로 조인을 사용하면 해결된다 !but!! 조건은 두 테이블에 공통된 컬럼이 존재해야한다. Company DB ERD를 다시 가져왔다.employees와 dept_manager 테이블을 보면 "emp_no" 라는 공통된 컬럼이 존재한다.그럼 employees 와 dept_manager 테이블은 emp_no 컬럼을 기준으로 조인이 가능하다. 예제1) 각 사원들의 사원번호, 근무 부서 번호, 근무 부서 이름을 가져온다. 사원번호를 기준으로 오름 차순..

0. 학습목표데이터 수집 수업에서 배운 웹 크롤링을 혼자서(강조) 연습해보려고 한다.강사님께서 알려주신 코드 + gpt로 연습 할 것이다.혼자서 페이지 2개 긁어와보기 !!1. 파이썬 홈페이지 library reference 목차 긁어오기크롤링 할 페이지 : The Python Standard LibraryWhile The Python Language Reference describes the exact syntax and semantics of the Python language, this library reference manual describes the standard library that is distributed with Python. It...docs.python.org 파란색 글씨로 적힌..

0. 학습목표SQL 기본 문법 (select, where, like, order by, having, group by) 사용하는 방법 익히기오직 내 기준!! 으로만 작성한 회고록이다.학부에서 데이터베이스, 데이터베이스 설계를 배웠기 때문에 아주 기초적인 내용은 제외한다. 1. Database 가져오기이번 회고에서는 employees DB를 사용했다.이해를 돕기 위해 employees DB의 ERD를 가져왔다.2. 조건절 이용하기 예제1) 1990년 이후부터 매니저로 근무하고 있는 사원들의 사원번호, 부서번호, 매니저 시작 날짜를 가져온다.select emp_no, dept_no, from_datefrom dept_managerwhere from_date >= '1990-01-01';가져올 컬럼 : 사원번..

0. 학습목표파이썬으로 별찍기 예제 풀기 + 번외로 산모양 별찍기 해보기로또번호 생성기를 공부하며 random.sample()기능 사용해보기1. 과정1. 별 하나씩 5줄 출력하기for i in range(5) : # end = "\n"으로 줄띄움 print("*", end="\n")***** 2. 별 하나씩 늘리면서 삼각형 만들기for j in range(1,6): print("*" * j)*************** 3. 별로 산모양(정삼각형) 만들기# 산 높이h = 5# 양쪽 대칭으로 추가되어야 하기 떄문에# 별의 개수는 홀수개 이어야함# 첫번 째 출력되는 별은 0*2 + 1 = 1개# 산 모양을 만들기 위해 앞에 공백으로 채워야한다.# 첫 번째 줄 공백은 5-0-1 = 4칸for i in..