[주의!] 문서의 이전 버전(에 수정)을 보고 있습니다. 최신 버전으로 이동
1. 개요[편집]
알파위키의 robots.txt
나무위키의 robots.txt
검색 엔진 크롤러에게 사이트의 특정 부분에 대한 접근을 허용하거나 차단하는 규칙을 담은 일반 텍스트 파일로, 웹사이트의 루트 디렉토리에 위치한다.
2024년까지는 알파위키에 robots.txt가 존재하지 않았으나, 언제부턴가 robots.txt 페이지가 존재하기 시작했다. 2024년 11월 1일 당시 문의 토론을 보면 당시 관리자였던 Cocoa가 기술적 문의에 대응할 수 없다고 하였으나 yopu 사태 이후 Cocoa가 서버 설정 담당자로 임명되면서 생성된 것으로 추정된다.
나무위키에서는 이미 한참 전부터 존재하였으며, 사용자 문서가 각종 검색 엔진에 크롤링되는 것을 막기 위해 만들어진 것으로 추정된다. 이 때문에 나무위키의 사용자 이름공간의 읽기 권한은 나무위키의 봇은 허가하되 검색 엔진 크롤러 등의 봇은 거부하고 그 뒤에 any를 허용한 것이다.
나무위키의 robots.txt
검색 엔진 크롤러에게 사이트의 특정 부분에 대한 접근을 허용하거나 차단하는 규칙을 담은 일반 텍스트 파일로, 웹사이트의 루트 디렉토리에 위치한다.
2024년까지는 알파위키에 robots.txt가 존재하지 않았으나, 언제부턴가 robots.txt 페이지가 존재하기 시작했다. 2024년 11월 1일 당시 문의 토론을 보면 당시 관리자였던 Cocoa가 기술적 문의에 대응할 수 없다고 하였으나 yopu 사태 이후 Cocoa가 서버 설정 담당자로 임명되면서 생성된 것으로 추정된다.
나무위키에서는 이미 한참 전부터 존재하였으며, 사용자 문서가 각종 검색 엔진에 크롤링되는 것을 막기 위해 만들어진 것으로 추정된다. 이 때문에 나무위키의 사용자 이름공간의 읽기 권한은 나무위키의 봇은 허가하되 검색 엔진 크롤러 등의 봇은 거부하고 그 뒤에 any를 허용한 것이다.
2. 알파위키의 robots.txt[편집]
# As a condition of accessing this website, you agree to abide by the following
# content signals:
# (a) If a content-signal = yes, you may collect content for the corresponding
# use.
# (b) If a content-signal = no, you may not collect content for the
# corresponding use.
# (c) If the website operator does not include a content signal for a
# corresponding use, the website operator neither grants nor restricts
# permission via content signal with respect to the corresponding use.
# The content signals and their meanings are:
# search: building a search index and providing search results (e.g., returning
# hyperlinks and short excerpts from your website's contents). Search does not
# include providing AI-generated search summaries.
# ai-input: inputting content into one or more AI models (e.g., retrieval
# augmented generation, grounding, or other real-time taking of content for
# generative AI search answers).
# ai-train: training or fine-tuning AI models.
# ANY RESTRICTIONS EXPRESSED VIA CONTENT SIGNALS ARE EXPRESS RESERVATIONS OF
# RIGHTS UNDER ARTICLE 4 OF THE EUROPEAN UNION DIRECTIVE 2019/790 ON COPYRIGHT
# AND RELATED RIGHTS IN THE DIGITAL SINGLE MARKET.
# content signals:
# (a) If a content-signal = yes, you may collect content for the corresponding
# use.
# (b) If a content-signal = no, you may not collect content for the
# corresponding use.
# (c) If the website operator does not include a content signal for a
# corresponding use, the website operator neither grants nor restricts
# permission via content signal with respect to the corresponding use.
# The content signals and their meanings are:
# search: building a search index and providing search results (e.g., returning
# hyperlinks and short excerpts from your website's contents). Search does not
# include providing AI-generated search summaries.
# ai-input: inputting content into one or more AI models (e.g., retrieval
# augmented generation, grounding, or other real-time taking of content for
# generative AI search answers).
# ai-train: training or fine-tuning AI models.
# ANY RESTRICTIONS EXPRESSED VIA CONTENT SIGNALS ARE EXPRESS RESERVATIONS OF
# RIGHTS UNDER ARTICLE 4 OF THE EUROPEAN UNION DIRECTIVE 2019/790 ON COPYRIGHT
# AND RELATED RIGHTS IN THE DIGITAL SINGLE MARKET.
2.1. 한국어 의역[편집]
이 웹사이트에 접속하는 조건으로 귀하는 아래 조건을 준수하는 것으로 간주합니다:
a) 만일 접근이 허가될 경우, 귀하는 이 사이트의 컨텐츠를 사용/수집할 수 있습니다.
b) 만일 불허될 경우, 귀하는 이 사이트의 컨텐츠를 사용/수집할 수 없습니다.
c) 만일 이 사이트의 관리자가 별도로 사용 조건을 명시하지 않은 경우, 수여자 측에 어떠한 컨텐츠 사용/수집 허가나 불허 의사가 명시되지 않은 것으로 간주합니다.
이 페이지에서 언급되는 접근의 종류와 의미는 다음과 같습니다:
search - 본 사이트의 컨텐츠를 이용하여 색인을 생성하고, 그 결과를 검색 엔진에의 하이퍼링크 제공이나 짧은 개요를 통해 제공하는 것을 의미합니다. 이는 인공지능으로 생성된 검색 개요를 포함하지 않습니다.
ai-input - 한 개 이상의 AI 모델에 보강된 생성, 보완, 혹은 이를 기반으로 하여 실시간으로 생성되는 AI의 답변을 위해 본 사이트의 컨텐츠를 이용하는 것을 의미합니다.
ai-train - 인공지능 모델을 훈련시키거나, 보정하기 위해 본 사이트의 컨텐츠를 이용하는 것을 의미합니다.
이 페이지에 명시된 조건은 하기 권리에 따른 명시적 유보임을 알립니다:
저작권에 관한 유럽 연합 지침 2019/790 제4조에 따른 권리
및 디지털 단일 시장에서의 관련 권리
a) 만일 접근이 허가될 경우, 귀하는 이 사이트의 컨텐츠를 사용/수집할 수 있습니다.
b) 만일 불허될 경우, 귀하는 이 사이트의 컨텐츠를 사용/수집할 수 없습니다.
c) 만일 이 사이트의 관리자가 별도로 사용 조건을 명시하지 않은 경우, 수여자 측에 어떠한 컨텐츠 사용/수집 허가나 불허 의사가 명시되지 않은 것으로 간주합니다.
이 페이지에서 언급되는 접근의 종류와 의미는 다음과 같습니다:
search - 본 사이트의 컨텐츠를 이용하여 색인을 생성하고, 그 결과를 검색 엔진에의 하이퍼링크 제공이나 짧은 개요를 통해 제공하는 것을 의미합니다. 이는 인공지능으로 생성된 검색 개요를 포함하지 않습니다.
ai-input - 한 개 이상의 AI 모델에 보강된 생성, 보완, 혹은 이를 기반으로 하여 실시간으로 생성되는 AI의 답변을 위해 본 사이트의 컨텐츠를 이용하는 것을 의미합니다.
ai-train - 인공지능 모델을 훈련시키거나, 보정하기 위해 본 사이트의 컨텐츠를 이용하는 것을 의미합니다.
이 페이지에 명시된 조건은 하기 권리에 따른 명시적 유보임을 알립니다:
저작권에 관한 유럽 연합 지침 2019/790 제4조에 따른 권리
및 디지털 단일 시장에서의 관련 권리
3. 나무위키의 robots.txt[편집]
User-agent: *
Disallow: /
Allow: /$
Allow: /ads.txt
Allow: /w/
Allow: /history/
Allow: /backlink/
Allow: /OrphanedPages
Allow: /UncategorizedPages
Allow: /ShortestPages
Allow: /LongestPages
Allow: /RecentChanges
Allow: /RecentDiscuss
Allow: /Search
Allow: /discuss/
Allow: /js/
Allow: /img/
Allow: /css/
Allow: /skins/
Allow: /favicon.ico
Allow: /_nuxt/
Allow: /sidebar.json
Allow: /cdn-cgi/
Disallow: /
Allow: /$
Allow: /ads.txt
Allow: /w/
Allow: /history/
Allow: /backlink/
Allow: /OrphanedPages
Allow: /UncategorizedPages
Allow: /ShortestPages
Allow: /LongestPages
Allow: /RecentChanges
Allow: /RecentDiscuss
Allow: /Search
Allow: /discuss/
Allow: /js/
Allow: /img/
Allow: /css/
Allow: /skins/
Allow: /favicon.ico
Allow: /_nuxt/
Allow: /sidebar.json
Allow: /cdn-cgi/
3.1. 해석[편집]
모든 사용자 에이전트를 대상으로 아래 허가된 페이지를 제외한 모든 페이지에 접근을 불허합니다:
대문, 광고, 문서 본문, 문서 역사, 역링크, 고립된 문서, 분류되지 않은 문서, 내용이 짧은 문서, 내용이 긴 문서, 최근 변경, 최근 토론, 검색, 문서 내 토론, 스킨 요소, 이미지, 사이드바, cloudflare 요소
대문, 광고, 문서 본문, 문서 역사, 역링크, 고립된 문서, 분류되지 않은 문서, 내용이 짧은 문서, 내용이 긴 문서, 최근 변경, 최근 토론, 검색, 문서 내 토론, 스킨 요소, 이미지, 사이드바, cloudflare 요소