robots.txt(r17 Blame)

 r17
-r1
211.178.136.251
+[[분류:웹사이트]][[분류:코딩]]
 [목차]
 [clearfix]
 == 개요 ==
 [[https://www.alphawiki.org/robots.txt|알파위키의 robots.txt]]
-r14
Wikifairy
+[[https://namu.wiki/robots.txt|나무위키의 robots.txt]]
-r1
211.178.136.251
-r12
Wikifairy
+검색 엔진 크롤러에게 사이트의 특정 부분에 대한 접근을 허용하거나 차단하는 규칙을 담은 일반 텍스트 파일로, [[웹사이트]]의 루트 디렉토리에 위치한다.
-r1
211.178.136.251
-r10
Wikifairy
+[[2024년]]까지는 [[알파위키]]에 robots.txt가 존재하지 않았으나, 언제부턴가 robots.txt 페이지가 존재하기 시작했다. [[https://www.alphawiki.org/thread/MassiveMuteChubbyHydrant|2024년 11월 1일 당시 문의 토론]]을 보면 당시 관리자였던 [[Cocoa]]가 기술적 문의에 대응할 수 없다고 하였으나 [[yopu 사태]] 이후 [[Cocoa]]가 [[알파위키:개발자|서버 설정 담당자]]로 임명되면서 생성된 것으로 추정된다.
-r2
211.178.136.251
-r16
Wikifairy
+[[나무위키]]에서는 이미 한참 전부터 존재하였으며, [[사용자 문서]]가 각종 검색 엔진에 크롤링되는 것을 막기 위해 만들어진 것으로 추정된다. 이 때문에 [[나무위키]]의 사용자 이름공간의 읽기 권한은 [[나무위키]]의 봇은 허가하되 검색 엔진 크롤러 등의 봇은 거부하고 그 뒤에 any를 허용한 것이다.
-r3
211.178.136.251
-r9
theseed_liberty
+== [[알파위키]]의 robots.txt ==
-r3
211.178.136.251
+# As a condition of accessing this website, you agree to abide by the following
 # content signals:
 # (a)  If a content-signal = yes, you may collect content for the corresponding
 #      use.
 # (b)  If a content-signal = no, you may not collect content for the
 #      corresponding use.
 # (c)  If the website operator does not include a content signal for a
 #      corresponding use, the website operator neither grants nor restricts
 #      permission via content signal with respect to the corresponding use.
 # The content signals and their meanings are:
 # search:   building a search index and providing search results (e.g., returning
 #           hyperlinks and short excerpts from your website's contents). Search does not
 #           include providing AI-generated search summaries.
 # ai-input: inputting content into one or more AI models (e.g., retrieval
 #           augmented generation, grounding, or other real-time taking of content for
 #           generative AI search answers).
 # ai-train: training or fine-tuning AI models.
 # ANY RESTRICTIONS EXPRESSED VIA CONTENT SIGNALS ARE EXPRESS RESERVATIONS OF
 # RIGHTS UNDER ARTICLE 4 OF THE EUROPEAN UNION DIRECTIVE 2019/790 ON COPYRIGHT
 # AND RELATED RIGHTS IN THE DIGITAL SINGLE MARKET.
 === 한국어 의역 ===
 이 웹사이트에 접속하는 조건으로 귀하는 아래 조건을 준수하는 것으로 간주합니다:
 a) 만일 접근이 허가될 경우, 귀하는 이 사이트의 컨텐츠를 사용/수집할 수 있습니다.
 b) 만일 불허될 경우, 귀하는 이 사이트의 컨텐츠를 사용/수집할 수 없습니다.
 c) 만일 이 사이트의 관리자가 별도로 사용 조건을 명시하지 않은 경우, 수여자 측에 어떠한 컨텐츠 사용/수집 허가나 불허 의사가 명시되지 않은 것으로 간주합니다.
 이 페이지에서 언급되는 접근의 종류와 의미는 다음과 같습니다:
 search - 본 사이트의 컨텐츠를 이용하여 색인을 생성하고, 그 결과를 검색 엔진에의 하이퍼링크 제공이나 짧은 개요를 통해 제공하는 것을 의미합니다. 이는 인공지능으로 생성된 검색 개요를 포함하지 않습니다.
 ai-input - 한 개 이상의 AI 모델에 보강된 생성, 보완, 혹은 이를 기반으로 하여 실시간으로 생성되는 AI의 답변을 위해 본 사이트의 컨텐츠를 이용하는 것을 의미합니다.
 ai-train - 인공지능 모델을 훈련시키거나, 보정하기 위해 본 사이트의 컨텐츠를 이용하는 것을 의미합니다.
 이 페이지에 명시된 조건은 하기 권리에 따른 명시적 유보임을 알립니다:
 저작권에 관한 유럽 연합 지침 2019/790 제4조에 따른 권리
-r4
211.178.136.251
+및 디지털 단일 시장에서의 관련 권리
-r9
theseed_liberty
+== [[나무위키]]의 robots.txt ==
-r4
211.178.136.251
+User-agent: *
 Disallow: /
 Allow: /$
 Allow: /ads.txt
 Allow: /w/
 Allow: /history/
 Allow: /backlink/
 Allow: /OrphanedPages
 Allow: /UncategorizedPages
 Allow: /ShortestPages
 Allow: /LongestPages
 Allow: /RecentChanges
 Allow: /RecentDiscuss
 Allow: /Search
 Allow: /discuss/
 Allow: /js/
 Allow: /img/
 Allow: /css/
 Allow: /skins/
 Allow: /favicon.ico
 Allow: /_nuxt/
 Allow: /sidebar.json
 Allow: /cdn-cgi/
 === 해석 ===
 모든 사용자 에이전트를 대상으로 아래 허가된 페이지를 제외한 모든 페이지에 접근을 불허합니다:
-r17
LG_Uplus
+대문, 광고, 문서 본문, 문서 역사, 역링크, 고립된 문서, 분류되지 않은 문서, 내용이 짧은 문서, 내용이 긴 문서, 최근 변경, 최근 토론, 검색, 문서 내 토론, 스킨 요소, 이미지, 사이드바, cloudflare 요소