한눈에 보기: robots.txt 파일은 검색 엔진 크롤러가 접근할 수 있는 영역을 제어하는 핵심 설정입니다. 워드프레스는 기본적으로 robots.txt를 자동 생성하지만, 사이트 규모나 SEO 전략에 따라 수정이 필요합니다. 이 글에서는 안전하면서도 검색 친화적인 robots.txt 최적 설정법을 코드 예시와 함께 소개합니다. 1. robots.txt란? 기본 개념 이해 robots.txt는 웹사이트 루트 디렉토리에 위치한 텍스트 파일로, 검색 엔진 크롤러에게 어떤 페이지를 크롤링할지 알려줍니다. 표준 프로토콜이며, 대부분의 검색 엔진은 이 지침을 존중합니다.