크롤링1 크롤러(crawler) 만들기(주의 : 실사이트 테스트하면 안됨) 크롤링(Crawling)이란? 크롤링 혹은 스크래핑은 웹 페이지를 그대로 가져와서 데이터를 추출하는 행위를 의미한다. 이번 프로그램은 요청 페이지들 안에 있는 url들을 print하는 것이다. 예를 들어 A라는 페이지를 열면, 그 안에는 다양한 url들을 호출하는 페이지가 있다. 네이버나 다음 메인페이지를 누르게 되면, 수많은 요청문과 함께 이미지 파일들과 css파일, json파일등등이 쏟아져 받아진다. robot.txt 라는 파일을 보고 가져올지 말지를 정해야하는데, 그건 나중에 따로 개발해야한다. 구성방식 1. 먼저 실행시에 크롤링할 IP를 입력 받는다. 2. 입력받은 IP가 ssl인지 여부를 확인 후 크롤러를 실행시킨다. 3. crawled_urls 함수를 이용해 crawl을 실행한다. 4. url.. 2021. 9. 18. 이전 1 다음 반응형