robots.txt(비교)

== 개요 ==

[[https://www.alphawiki.org/robots.txt|알파위키의 robots.txt]]

[[https://namu.wiki/robots.txt|나무위키의 robots.txt]]

검색 엔진 크롤러에게 사이트의 특정 부분에 대한 접근을 허용하거나 차단하는 규칙을 담은 일반 텍스트 파일로, [[웹사이트]]의 루트 디렉토리에 위치한다.