크롤링(Crawling)

인터넷에 데이터가 방대해지면서 우리는 그걸 활용할 필요성이 높아졌습니다. 그런 정보들을 우리가 분석하기 쉽고 활용하기 쉽게 끔 데이터를 수집하는 행위를 크롤링(Crawling) 이라고 하고 크롤링하는 프로그램을 크롤러(Crawler) 라고 합니다.

​

원하는 데이터를 추출하는 스크래핑(Scraping)과 개념이 혼동되기도 하는데요.

사실 크롤링의 정확한 정의는 다양한 웹사이트의 페이지를 브라우징하는 작업을 말합니다.

그런데 사실상 정보를 수집하기 위해선 브라우징만 하지 않죠. 페이지 안에 있는 데이터를 추출해서 가공하는게 대부분 최종 목표입니다.

결국 크롤링 => 스크래핑의 과정으로 넘어가는 거죠.

그래서 이 두 개념이 혼용되는 것 같습니다. 해외에서는 주로 스크래핑이라고 쓰는 걸로 알고 있습니다.

​

크롤링을 위해서 파이썬이라는 언어를 사용하고 주로 웹페이지에서 데이터를 모아오는 작업을 수행할 예정입니다.

 

출처 : 크롤링이란? (tistory.com)

출처 : 파이썬 웹 크롤링 하기 - 너무 간단해서 민망합니다. - YouTube