장인으로의 여정/유용한 TIP2 ubuntu 용량 1TB 하드 200G 인식 => 최대로 인식하게 수정하는 방법 우분투를 설치하여 용량을 확인해보면 아래와 같이 1TB가 있지 않습니다. 대략 200G정도밖에 안쓰는것 같은데 나머지는 어디갔을까요? 아래 명령어로 보면 1TB 라는걸 확인해볼 수 있죠. fisk -l 그럼 왜 fdisk 명령어로 용량이 모두 안보일까요? 아래 명령어로 확인해보죠. sudo lsblk nvme0n1에 953.9G가 할당되어 있습니다. 그 중 nvme0nlpp3에 952.4G가 part로 되어 있죠.(그 위에는 boot 관련이니 넘어가죠) 그 하위로 lvm이 200G 잡혀있습니다. 우분투에서 설치하면 알아서 이렇게 잡는것 같아요. 이걸 늘리면 되겠죠? 아래 명령어로 300G 먼저 늘려보았습니다. sudo lvextend -L+300G /dev/mapper/ubuntu--vg-ubuntu--.. 2022. 2. 9. 크롤러(crawler) 만들기(주의 : 실사이트 테스트하면 안됨) 크롤링(Crawling)이란? 크롤링 혹은 스크래핑은 웹 페이지를 그대로 가져와서 데이터를 추출하는 행위를 의미한다. 이번 프로그램은 요청 페이지들 안에 있는 url들을 print하는 것이다. 예를 들어 A라는 페이지를 열면, 그 안에는 다양한 url들을 호출하는 페이지가 있다. 네이버나 다음 메인페이지를 누르게 되면, 수많은 요청문과 함께 이미지 파일들과 css파일, json파일등등이 쏟아져 받아진다. robot.txt 라는 파일을 보고 가져올지 말지를 정해야하는데, 그건 나중에 따로 개발해야한다. 구성방식 1. 먼저 실행시에 크롤링할 IP를 입력 받는다. 2. 입력받은 IP가 ssl인지 여부를 확인 후 크롤러를 실행시킨다. 3. crawled_urls 함수를 이용해 crawl을 실행한다. 4. url.. 2021. 9. 18. 이전 1 다음 반응형
