robots.txt(r2 판)

알파위키의 robots.txt

검색 엔진 크롤러에게 사이트의 특정 부분에 대한 접근을 허용하거나 차단하는 규칙을 담은 일반 텍스트 파일로, 웹사이트의 루트 디렉토리에 위치한다.

2024년 말까지는 알파위키에 robots.txt가 존재하지 않았으나, 언제부턴가 robots.txt 페이지가 존재하기 시작했다. 2024년 11월 1일 당시 문의 토론을 보면 당시 관리자였던 Cocoa가 기술적 문의에 대응할 수 없다고 하였으나 yopu 사태 이후 Cocoa가 서버 설정 담당자로 임명되면서 생성된 것으로 추정된다.

나무위키에서는 한참 전부터 존재하였으며, 사용자 문서가 각종 검색 엔진에 크롤링되는 것을 막기 위해 만들어진 것으로 추정된다. 이 때문에 나무위키의 사용자 이름공간의 읽기 권한은 나무위키의 봇은 허가하되 검색 엔진 크롤러는 거부하고 그 뒤에 any를 허용한 것이다.