BeautifulSoup 설치 pip install beautifulsoup4 Window 운영체제를 사용하고 있다면 cmd에서, Mac 운영체제를 사용하고 있다면 terminal에서 설치! BeautifulSoup 기본 사용법 import requests from bs4 import BeautifulSoup news_url = 'https://news.naver.com/' # requests 모듈을 사용하여 해당 URL에 포함된 HTML정보를 로드한다. response = requests.get(news_url) # response에 저장된 HTML정보를 binary형식에서 text형식으로 바꾼 뒤, soup 객체로 반환한다. soup = BeautifulSoup(response.text, 'html...

크롤링이란? - 크롤링(Crawling)의 사전적 의미는 기어다닌다는 의미를 지닌다. 어디를 기어다니는지에 대한 의문이 들텐데 다름아닌 웹(Web) 상을 기어다닌다고 생각하면 된다. - 이러한 말 뜻은 웹상을 기어다니며 데이터들을 긁어 모은다는 의미에서 유래된 것으로 알려져있다. 다르게 불리는 말들로는 웹 스크래핑(Web Scraping), 데이터 긁어 모으기 등이 존재한다. 기술적인 의미 - '크롤링'은 웹 상에 존재하는 자료들을 특정한 방식을 사용하여 데이터들을 수집함을 의미한다. 여기서 중요한 점은 웹 상의 정보에는 여러가지 종류가 있다라는 점이다. - '크롤링'은 정적인 문서가 대상이 될 수도 있고, API와 같은 서비스가 될 수도 있다. 정적인 자료를 대상으로 하는 것은 크롤링을 한번만 해서 정..