•  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
더 보기

robots.txt(비교)

r7 vs r8
......
88
99
2024년 말까지는 [[알파위키]]에 robots.txt가 존재하지 않았으나, 언제부턴가 robots.txt 페이지가 존재하기 시작했다. [[https://www.alphawiki.org/thread/MassiveMuteChubbyHydrant|2024년 11월 1일 당시 문의 토론]]을 보면 당시 관리자였던 [[Cocoa]]가 기술적 문의에 대응할 수 없다고 하였으나 [[yopu 사태]] 이후 Cocoa가 [[알파위키:개발자|서버 설정 담당자]]로 임명되면서 생성된 것으로 추정된다.
1010
11
[[나무위키]]에서는 한참 전부터 존재하였으며, [[사용자 문서]]가 각종 검색 엔진에 크롤링되는 것을 막기 위해 만들어진 것으로 추정된다. 이 때문에 나무위키의 사용자 이름공간의 읽기 권한은 나무위키의 봇은 허가하되 검색 엔진 크롤러는 거부하고 그 뒤에 any를 허용한 것이다.
11
[[나무위키]]에서는 한참 전부터 존재하였으며, [[사용자 문서]]가 각종 검색 엔진에 크롤링되는 것을 막기 위해 만들어진 것으로 추정된다. 이 때문에 나무위키의 사용자 이름공간의 읽기 권한은 나무위키의 봇은 허가하되 검색 엔진 크롤러 등의 봇은 거부하고 그 뒤에 any를 허용한 것이다.
1212
1313
== 알파위키의 robots.txt ==
1414
# As a condition of accessing this website, you agree to abide by the following
......
7777
=== 해석 ===
7878
모든 사용자 에이전트를 대상으로 아래 허가된 페이지를 제외한 모든 페이지에 접근을 불허합니다:
7979
80
대문, 광고, 문서 본문, 문서 역사, 역링크, 고립된 문서, 분류되지 않은 문서, 내용이 짧은 문서, 내용이 긴 문서, 최근 변경, 최근 토론, 검색, 문서 내 토론, 스킨 요소, 이미지, 사이드바, cloudflare 요소 --광고는 근데 왜 허용하는 걸까?--
80
대문, 광고, 문서 본문, 문서 역사, 역링크, 고립된 문서, 분류되지 않은 문서, 내용이 짧은 문서, 내용이 긴 문서, 최근 변경, 최근 토론, 검색, 문서 내 토론, 스킨 요소, 이미지, 사이드바, cloudflare 요소