| r1 | ||
|---|---|---|
| r1 | 1 | [[분류:웹사이트]][[분류:코딩]] |
| 2 | [목차] | |
| 3 | [clearfix] | |
| 4 | == 개요 == | |
| 5 | [[https://www.alphawiki.org/robots.txt|알파위키의 robots.txt]] | |
| 6 | ||
| 7 | 검색 엔진 크롤러에게 사이트의 특정 부분에 대한 접근을 허용하거나 차단하는 규칙을 담은 일반 텍스트 파일로, 웹사이트의 루트 디렉토리에 위치한다. | |
| 8 | ||
| 9 | 2024년 말까지는 [[알파위키]]에 robots.txt가 존재하지 않았으나, 언제부턴가 robots.txt 페이지가 존재하기 시작했다. |