robots.txt 기초와 전체 사이트 크롤링 차단 예시
개요 robots.txt는 검색 엔진 크롤러에 대한 크롤링 규칙을 선언하는 공개 텍스트 파일임 사이트 루트 경로에 위치하며 접근 제어나 보안 수단으로 사용 불가 전체 차단 예시 모든 크롤러에 대해 사이트 전체 경로 크롤링 금지 설정 User-agent: * Disallow: / 위 규칙은 크롤링 거부 의사를 표명하는 표준 관례이며 비준수 크롤러까지 강제 불가 주의 운영 환경 적용 시 검색 트래픽 전면 차단 위험 크롤링 차단과 인덱싱 차단은 다름 이미 색인된 문서는 별도 제거 절차 필요 ...