클롤링과 스크래핑 차이

크롤링 - URL을 탐색해 반복적으로 링크를 찾고 가져오는 과정

스크래핑 - 우리가 정한 특정 웹 페이지에서 데이터를 추출하는 것

 

 

웹사이트의 홈 디렉토리에 위치한 robots.txt 파일을 열어보고 해당 사이트의 정책을 준수하지 않는다면 불법

크롤링한 자료를 상업적 용도로 사용하면 불법

비상업적인 용도라 하더라도 원작자에게 불이익을 주면 불법

크롤러를 활용해 고의적으로 Abusing 하면 불법