크롤링(Crawling)

🔍 1. 크롤링(Crawling)이란?

웹 크롤링은 인터넷 상의 웹 페이지를 자동으로 탐색하고, 그 내용을 수집하는 기술 또는 과정! 보통 검색 엔진(예: 구글)이나 데이터 수집 봇이 사용하는 기술이다.

 

📌 크롤링의 기본 원리

1️⃣ 크롤러(bot, spider)가 시작 URL(예: https://example.com)에 접속
2️⃣ 해당 페이지의 HTML 문서를 읽고, 내부에 있는 링크들을 수집
3️⃣ 수집한 링크를 따라가면서 다른 페이지도 탐색
4️⃣ 이 과정을 반복하면서 점점 더 많은 데이터를 수집

 

📌 크롤링을 사용하는 이유

✅ 웹사이트의 정보를 자동으로 모으기 위해
✅ 상품 가격, 뉴스 기사, 게시글 등을 수집해 분석하기 위해
✅ 검색 엔진이 웹사이트를 인덱싱하기 위해

 

📌 크롤링 vs 스크래핑

• 크롤링: 웹페이지를 돌아다니며 데이터를 모으는 과정
• 스크래핑: 그 페이지 안에서 원하는 정보를 뽑아내는 작업

항목	크롤링	스크래핑
목적	페이지 탐색 및 링크 수집	페이지에서 특정 정보 추출
예시	여러 뉴스 사이트 순회	뉴스 기사에서 제목/본문 추출

 

📌 2. 크롤링 구현 방법 (파이썬)

파이썬에서 크롤링 라이브러리를 이용한다.

✅ 크롤링 라이브러리

• BeautifulSoup → 정적 HTML에서 데이터 추출
• Selenium → 동적으로 생성되는 데이터 (JS 렌더링된 페이지)
• Scrapy → 대규모 크롤링에 적합

 

✅ 2-1. 기본 웹 크롤링 방식 (requests & BeautifulSoup)

• requests.get(url)을 사용하면 웹사이트의 HTML을 가져올 수 있다.

import requests from bs4 import BeautifulSoup url = "https://example.com" headers = {"User-Agent": "Mozilla/5.0"} response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, "html.parser") print(soup.prettify())  # 사이트의 HTML 코드 출력

 

✅ 2-2. 동적 웹페이지 크롤링 (Selenium)

• requests는 HTML 코드만 가져오기 때문에, JavaScript로 렌더링되는 데이터(예: 유튜브 댓글, 쿠팡 상품 목록 등)는 크롤링할 수 없음!
• Selenium을 사용하면 실제 브라우저를 띄우기 때문에 JavaScript로 렌더링된 데이터도 가져올 수 있음! 

from selenium import webdriver from selenium.webdriver.chrome.service import Service from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys import time # 크롬 드라이버 실행 service = Service("chromedriver.exe") driver = webdriver.Chrome(service=service) # 웹사이트 접속 driver.get("https://example.com") time.sleep(2)  # 페이지가 로딩될 때까지 대기 # HTML 가져오기 html = driver.page_source print(html) #뉴스 제목 가져오기 titles = driver.find_elements(By.CLASS_NAME, "sa_text_strong") print("📰 네이버 뉴스 제목:") for idx, title in enumerate(titles, 1):     print(f"{idx}. {title.text}") # 브라우저 종료 driver.quit()

✔ find_elements(By.CLASS_NAME, "클래스이름") 으로 원하는 데이터를 가져올 수 있음.
✔ driver.quit()으로 브라우저를 닫아야 함.

 

🔥 2-3. 크롤링 방식 비교

방식	가져올 수 있는 데이터	주요 라이브러리
requests + BeautifulSoup	서버에서 제공하는 정적인 HTML	requests, BeautifulSoup
Selenium	JavaScript로 동적으로 생성된 데이터 (예: 무한 스크롤)	Selenium, webdriver
Scrapy	대량의 웹페이지에서 데이터 수집 (크롤링 속도 빠름)	Scrapy

👉 어떤 데이터를 크롤링하느냐에 따라 적절한 라이브러리를 선택!

📌3. 크롤링 주의사항

✅3-1. robots.txt 확인 (사이트 크롤링 허용 여부 체크)

웹사이트마다 크롤링 허용 여부를 설정한 robots.txt 파일이 있다.
➡️ 크롤링 가능 여부를 먼저 체크!!

🔹 확인 방법:

https://사이트주소/robots.txt

 

📖 예시 (네이버 뉴스)

https://news.naver.com/robots.txt

 

✔ User-agent: * 부분에서 Disallow 된 URL이 있으면 크롤링하면 안 됨!
✔ 만약 Allow: / 라고 되어 있으면 크롤링 가능!

 

✅3-2. User-Agent 설정 (크롤링 차단 방지)

서버가 봇(자동 크롤러)인 걸 감지하면 차단할 수도 있다.
➡️ User-Agent를 설정하면 사람이 요청하는 것처럼(브라우저 처럼) 보일 수 있음!

📖 예시 (네이버 뉴스 크롤링)

import requests url = "https://news.naver.com/" headers = {"User-Agent": "Mozilla/5.0"}  # 크롬 브라우저처럼 보이게 설정 response = requests.get(url, headers=headers) print(response.status_code)  # 200이면 정상 접속

 

✅3-3. IP 차단 방지 (요청 간격 조절)

너무 빠르게 요청하면 차단될 수도 있어!
➡️ time.sleep(1) 같은 코드를 추가해서 요청 간격을 조절.

📖 예제 (10초마다 뉴스 크롤링)

import time for _ in range(5):     response = requests.get(url, headers=headers)     print("크롤링 완료, 10초 대기 중...")     time.sleep(10)  # 10초 대기

 

---

📌 4. 추가 기능

✅4-1. API 데이터 가져오기 (requests + JSON 활용)

웹사이트에서 제공하는 API를 이용하면 더 빠르고 안정적으로 데이터를 가져올 수 있다.
(💡 API는 데이터를 JSON 형식으로 제공하는 경우가 많음!)

 

📖 API 요청 예제 (jsonplaceholder.typicode.com 사용)

import requests url = "https://jsonplaceholder.typicode.com/posts" response = requests.get(url) data = response.json()  # JSON 데이터를 파이썬 딕셔너리로 변환 # 5개의 제목 출력 for post in data[:5]:     print(post["title"])

✔ 장점: 크롤링보다 빠르고 정확함! (robots.txt 걱정 없음)
✔ 단점: API를 제공하는 사이트에서만 사용 가능

 

✅4-2. 크롤링 데이터 가공 후 시각화 (pandas + matplotlib)

크롤링한 데이터를 분석하고 그래프로 시각화할 수 있다.

🔹 설치 방법

pip install pandas matplotlib

 

📖 CSV 데이터 불러와서 시각화 예제

import pandas as pd import matplotlib.pyplot as plt # CSV 파일 불러오기 df = pd.read_csv("news.csv") # 뉴스 개수 확인 print(df.head())  # 상위 5개 출력 # 뉴스 제목 글자 수 분포 시각화 df["title_length"] = df["뉴스 제목"].str.len() plt.hist(df["title_length"], bins=10, color="skyblue", edgecolor="black") plt.xlabel("제목 길이") plt.ylabel("기사 개수") plt.title("뉴스 제목 길이 분포") plt.show()

✔ pandas로 데이터를 다룰 수 있음
✔ matplotlib로 데이터를 그래프로 표시 가능