분류326 크롤러(crawler) 만들기(주의 : 실사이트 테스트하면 안됨) 크롤링(Crawling)이란? 크롤링 혹은 스크래핑은 웹 페이지를 그대로 가져와서 데이터를 추출하는 행위를 의미한다. 이번 프로그램은 요청 페이지들 안에 있는 url들을 print하는 것이다. 예를 들어 A라는 페이지를 열면, 그 안에는 다양한 url들을 호출하는 페이지가 있다. 네이버나 다음 메인페이지를 누르게 되면, 수많은 요청문과 함께 이미지 파일들과 css파일, json파일등등이 쏟아져 받아진다. robot.txt 라는 파일을 보고 가져올지 말지를 정해야하는데, 그건 나중에 따로 개발해야한다. 구성방식 1. 먼저 실행시에 크롤링할 IP를 입력 받는다. 2. 입력받은 IP가 ssl인지 여부를 확인 후 크롤러를 실행시킨다. 3. crawled_urls 함수를 이용해 crawl을 실행한다. 4. url.. 2021. 9. 18. file 명령어로 mime type 확인하기 mime type은 무엇일까요? 일단 MIME이란? Multipurpose Internet Mail Extensions의 약자입니다. 인터넷 메일의 파일형태를 의미하는 것이지요. 어쨌든 파일이 있다면, 해당 파일의 앞부분에는 MIME이 들어있습니다. 그걸 추출해서 알려주는 팁을 알려드리겠습니다. file --mime-type [파일명] 위와같이 명령하면 이 파일이 어떤 형태라는걸 알 수 있습니다. [예시] 2021. 9. 16. sftp 사용방법(업로드/다운로드) ftp 중 보안을 위해 sftp를 사용하는 사람들에게 필요한 ssh에서 다운로드하는 방법입니다. sftp [계정명]@[SFTP IP] 위의 명령어대로 입력하면 됩니다. 로그인을 하게 되면 리눅스 쉘 명령어처럼 이동할 수 있습니다. 현재 위치의 pwd 라든지 현재 폴더의 파일목록 볼 수 있는 ls라든지 cd로 폴더를 이동하는 것 등을 모두 사용할 수 있습니다. 파일을 업/다운로드 할 위치로 이동 후에 다운로드는 get 명령어로, 업로드는 put 명령어로 가능합니다. 다운로드 get [FILE NAME] 업로드 put [FILE NAME] 2021. 9. 15. OWASP Top 10 2021버전이 나왔습니다.(DRAFT FOR PEER REVIEW) 아직 초안이긴한데 일단 2021년 OWASP Top 10이 나왔습니다. 그 전에 나온게 2017년 그 전은 2013년도인데요. 4년마다 나오는군요. 한번 살펴보도록 하겠습니다. 총 3가지가 새로 생겼네요. A04:2021-Insecure Design A08:2021-Software and Data Integrity Failures A10:2021-Server-Side Request Forgery 각각 내용을 살펴볼까요? A04:2021-Insecure Design is a new category for 2021, with a focus on risks related to design flaws. If we genuinely want to "move left" as an industry, it calls .. 2021. 9. 14. 이전 1 ··· 59 60 61 62 63 64 65 ··· 82 다음 반응형
