[멋쟁이사자처럼 데이터분석 부트캠프 5기] 웹 크롤링 Selenium 연습해보기

0. 학습목표

- 내가 보려고 만든 셀레니움 가이드북
- 셀레니움을 이용한 크롤링 연습 및 복습하기 

---

1. 셀레니움 크롤링 개념 

목적	웹 페이지를 자동으로 열고, 탐색하고, 정보 추출 (ex. 로그인, 버튼 클릭, 데이터 수집 등)
기본 원리	실제 브라우저를 띄운 후, HTML 요소를 찾고 조작하여 데이터를 가져옴 ➡️ 정적크롤링
지원 브라우저	Chrome, Firefox, Safari 등 대부분의 브라우저
핵심 구성 요소	WebDriver: 브라우저를 자동화하는 객체 (ex. ChromeDriver) find_element(): 특정 HTML 요소를 찾는 함수 click(), send_keys(): 버튼 클릭, 텍스트 입력 등의 인터랙션 수행

 

---

2. 네이버 회원가입을 셀레니움으로 해보자

 

1) 라이브러리 Import

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import Select

---

2) 웹 드라이버 실행

webdriver 패키지를 이용하여 크롬 브라우저 객체를 생성한다. 
그리고 driver 변수에 저장한다.

driver = webdriver.Chrome()

실행하면 빈 크롬창이 열린다.
이제 여기서 네이버 사이트를 불러올것이다.

---

3) 네이버 사이트 요청하기

(오랜만에 보는) get 함수로 불러온다.

driver.get('https://www.naver.com')

말한대로 크롬창이 네이버로 접속이 된다.

 

---

4) 회원가입 창 열기

네이버 화면에서 F12 키를 눌러서 개발자 모드 창을 열고, 회원가입 버튼을 찾아서 copy select 한다.

 

카피한 코드를 아래의 value값으로 넣어준다.

join_tag = driver.find_element(by=By.CSS_SELECTOR, value = '#account > div > div > a:nth-child(3)')
join_tag.click()

find_element()를 이용해서 HTML 에서 회원가입 요소를 찾는 것을 join_tag에 넣는다.
그리고 click()을 이용해서 그 요소를 클릭하는 행동을 하도록 한다.

---

5. 순서에 맞게 객체를 찾고 클릭 및 입력하기 🌟

이제 부터 find_element()와 click()의 연속이다..!

위 코드를 실행하면 다음과 같은 화면으로 이동한다.
이 화면에서 해야할 일은 

1. 전체 동의하기 버튼 클릭하기
2. 다음 버튼 클릭하기

이다. find_element()와 click()을 이용해서 실행해보자 

 

# 약관 전체 동의를 눌러준다.
check_tag = driver.find_element(by=By.CSS_SELECTOR, value='#join_form > div.form_content > div.form_section > div.check_terms > div > label')
check_tag.click()

# 약관의 확인 버튼을 누른다.
agree_btn = driver.find_element(by=By.CSS_SELECTOR, value='#btnAgree')
agree_btn.click()

 

---

다음 화면에서 해야할 일은

1. 아이디 입력
2. 비밀번호 입력
3. 이름 입력
4. 생년월일 8자리 입력
5. 통신사 선택
6. 성별 선택
7. 내국인/외국인 선택
8. 휴대전화번호 입력
9. 인증 약관 동의 클릭

* 인증 요청은 안할 것임 !!! (잘못하면 밴 당할 수도 있음 ^^)

 

 

 

• 입력은 find_element()와 send_keys()로 할 것이고,
• 버튼 클릭은 find_element()와 click()으로 할 것이다.

# 아이디
input_id = driver.find_element(by=By.CSS_SELECTOR, value='#id')
input_id.send_keys('ididid1234566')

# 비밀번호
input_pass1 = driver.find_element(by=By.CSS_SELECTOR, value='#pswd1')
input_pass1.send_keys('pwpwpw987655@')

# 이름
input_name = driver.find_element(by=By.CSS_SELECTOR, value='#name')
input_name.send_keys('감자슈니')

# 생년월일 8자리
input_birthdayInput = driver.find_element(by=By.CSS_SELECTOR, value='#birthdayInput')
input_birthdayInput.send_keys('20010520')

# 통신사 선택지 여는 버튼
btn_telecom = driver.find_element(by=By.CSS_SELECTOR, value='#btn_telecom')
btn_telecom.click()

# 나의 통신사 선택
btnTelecomSub = driver.find_element(by=By.CSS_SELECTOR, value = '#btnTelecom5')
btnTelecomSub.click()

# 성별
listIdentityGender = driver.find_element(by=By.CSS_SELECTOR, value='#listIdentityGender > li:nth-child(1) > label')
listIdentityGender.click()

# 내외국인
listForeigner = driver.find_element(by=By.CSS_SELECTOR, value='#listForeigner > li:nth-child(1) > label')
listForeigner.click()

# 휴대폰번호
phoneNo = driver.find_element(by=By.CSS_SELECTOR, value='#phoneNo')
phoneNo.send_keys('010-1232-1232')

# 인증 약관 전체동의 버튼 누르기
agree_all_btn = driver.find_element(by=By.CSS_SELECTOR, value='#itemAgree > div > div > label')
agree_all_btn.click()

 

다음과 같이 정상적으로 입력되는 것을 확인할 수 있다.

 

동적크롤링 셀레니움 연습해보기 완료 !!

 

---

💭 느낀 점 및 향후 계획

네이버 회원가입은 아주 쉬운 크롤링이기 때문에 어려운 점이 하나도 없었다.
그리고 필요한 함수도 매우 직관적인 이름을 가져서, 여러번 반복하다 보니
쉽게 느껴진거 같다.

근데,,, 야구데이터 크롤링 할 때는 정말 포기 마려웠다 ㅎㅎ
그치만 끝까지 헤내시는 멘토님이 대단하시다고 느껴졌고,
어차피 나중에 나도 해야할 일이니까 이왕 하는거 복잡한 사이트로 연습해보는게
더 나을지도 모르겠다는 생각도 들었다..

셀레니움 복습은 언제 다시 할지는 모르겠지만?
시간이 생길 때 꼭 다시 한 번 해봐야겠다.

 

출처 : 멋쟁이사자처럼