| r1 vs r2 | ||
|---|---|---|
| ... | ... | |
| 6 | 6 | |
| 7 | 7 | 검색 엔진 크롤러에게 사이트의 특정 부분에 대한 접근을 허용하거나 차단하는 규칙을 담은 일반 텍스트 파일로, 웹사이트의 루트 디렉토리에 위치한다. |
| 8 | 8 | |
| 9 | 2024년 말까지는 [[알파위키]]에 robots.txt가 존재하지 않았으나, 언제부턴가 robots.txt 페이지가 존재하기 시작했다. | |
| 9 | 2024년 말까지는 [[알파위키]]에 robots.txt가 존재하지 않았으나, 언제부턴가 robots.txt 페이지가 존재하기 시작했다. [[https://www.alphawiki.org/thread/MassiveMuteChubbyHydrant|2024년 11월 1일 당시 문의 토론]]을 보면 당시 관리자였던 [[Cocoa]]가 기술적 문의에 대응할 수 없다고 하였으나 [[yopu 사태]] 이후 Cocoa가 [[알파위키:개발자|서버 설정 담당자]]로 임명되면서 생성된 것으로 추정된다. | |
| 10 | ||
| 11 | [[나무위키]]에서는 한참 전부터 존재하였으며, [[사용자 문서]]가 각종 검색 엔진에 크롤링되는 것을 막기 위해 만들어진 것으로 추정된다. 이 때문에 나무위키의 사용자 이름공간의 읽기 권한은 나무위키의 봇은 허가하되 검색 엔진 크롤러는 거부하고 그 뒤에 any를 허용한 것이다. |