| r8 vs r9 | ||
|---|---|---|
| ... | ... | |
| 6 | 6 | |
| 7 | 7 | 검색 엔진 크롤러에게 사이트의 특정 부분에 대한 접근을 허용하거나 차단하는 규칙을 담은 일반 텍스트 파일로, 웹사이트의 루트 디렉토리에 위치한다. |
| 8 | 8 | |
| 9 | 2024년 | |
| 9 | 2024년까지는 [[알파위키]]에 robots.txt가 존재하지 않았으나, 언제부턴가 robots.txt 페이지가 존재하기 시작했다. [[https://www.alphawiki.org/thread/MassiveMuteChubbyHydrant|2024년 11월 1일 당시 문의 토론]]을 보면 당시 관리자였던 [[Cocoa]]가 기술적 문의에 대응할 수 없다고 하였으나 [[yopu 사태]] 이후 Cocoa가 [[알파위키:개발자|서버 설정 담당자]]로 임명되면서 생성된 것으로 추정된다. | |
| 10 | 10 | |
| 11 | 11 | [[나무위키]]에서는 한참 전부터 존재하였으며, [[사용자 문서]]가 각종 검색 엔진에 크롤링되는 것을 막기 위해 만들어진 것으로 추정된다. 이 때문에 나무위키의 사용자 이름공간의 읽기 권한은 나무위키의 봇은 허가하되 검색 엔진 크롤러 등의 봇은 거부하고 그 뒤에 any를 허용한 것이다. |
| 12 | 12 | |
| 13 | == 알파위키의 robots.txt == | |
| 13 | == [[알파위키]]의 robots.txt == | |
| 14 | 14 | # As a condition of accessing this website, you agree to abide by the following |
| 15 | 15 | # content signals: |
| 16 | 16 | |
| ... | ... | |
| 50 | 50 | 저작권에 관한 유럽 연합 지침 2019/790 제4조에 따른 권리 |
| 51 | 51 | 및 디지털 단일 시장에서의 관련 권리 |
| 52 | 52 | |
| 53 | == 나무위키의 robots.txt == | |
| 53 | == [[나무위키]]의 robots.txt == | |
| 54 | 54 | User-agent: * |
| 55 | 55 | Disallow: / |
| 56 | 56 | Allow: /$ |
| ... | ... |