SO EASY정의
프로그램이 여러 웹페이지를 차례로 돌며 정보를 긁어 오는 일.
자세한 설명
사람이 하나씩 누르며 보는 대신, 프로그램이 링크를 따라 여러 웹페이지를 자동으로 돌아다니며 원하는 정보를 가져오는 일입니다. 검색엔진이 세상의 웹페이지를 모아 두는 것도 크롤링의 한 예입니다. 가격 비교, 뉴스 모음, 경쟁 업체 정보 파악처럼 넓은 범위의 자료를 꾸준히 모을 때 씁니다. 해당 사이트의 이용 약관이나 로봇 배제 규칙을 어기면 문제가 될 수 있어 조심해야 합니다.
예를 들면
경쟁 가게의 가격 변화를 보려고 여러 오픈마켓 상품 페이지를 돌며 가격을 모으는 웹 크롤링을 돌렸습니다.
체크포인트
크롤링은 상대 사이트에 부담을 줄 수 있으니, 요청 속도를 조절하고 이용 약관에서 허용하는지 먼저 확인합니다.
관련 용어
용어 설명은 이해를 돕기 위한 안내입니다. 법령·세무·지원 제도의 정확한 기준은 관계 법령과 소관 기관의 최신 안내를 확인하세요.