•  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
  •  
더 보기

robots.txt(r4 Blame)

r4
r1
211.178.136.251
1[[분류:웹사이트]][[분류:코딩]]
2[목차]
3[clearfix]
4== 개요 ==
5[[https://www.alphawiki.org/robots.txt|알파위키의 robots.txt]]
6
7검색 엔진 크롤러에게 사이트의 특정 부분에 대한 접근을 허용하거나 차단하는 규칙을 담은 일반 텍스트 파일로, 웹사이트의 루트 디렉토리에 위치한다.
8
r2
211.178.136.251
92024년 말까지는 [[알파위키]]에 robots.txt가 존재하지 않았으나, 언제부턴가 robots.txt 페이지가 존재하기 시작했다. [[https://www.alphawiki.org/thread/MassiveMuteChubbyHydrant|2024년 11월 1일 당시 문의 토론]]을 보면 당시 관리자였던 [[Cocoa]]가 기술적 문의에 대응할 수 없다고 하였으나 [[yopu 사태]] 이후 Cocoa가 [[알파위키:개발자|서버 설정 담당자]]로 임명되면서 생성된 것으로 추정된다.
10
r3
211.178.136.251
11[[나무위키]]에서는 한참 전부터 존재하였으며, [[사용자 문서]]가 각종 검색 엔진에 크롤링되는 것을 막기 위해 만들어진 것으로 추정된다. 이 때문에 나무위키의 사용자 이름공간의 읽기 권한은 나무위키의 봇은 허가하되 검색 엔진 크롤러는 거부하고 그 뒤에 any를 허용한 것이다.
12
13== 알파위키의 robots.txt ==
14# As a condition of accessing this website, you agree to abide by the following
15# content signals:
16
17# (a) If a content-signal = yes, you may collect content for the corresponding
18# use.
19# (b) If a content-signal = no, you may not collect content for the
20# corresponding use.
21# (c) If the website operator does not include a content signal for a
22# corresponding use, the website operator neither grants nor restricts
23# permission via content signal with respect to the corresponding use.
24
25# The content signals and their meanings are:
26
27# search: building a search index and providing search results (e.g., returning
28# hyperlinks and short excerpts from your website's contents). Search does not
29# include providing AI-generated search summaries.
30# ai-input: inputting content into one or more AI models (e.g., retrieval
31# augmented generation, grounding, or other real-time taking of content for
32# generative AI search answers).
33# ai-train: training or fine-tuning AI models.
34
35# ANY RESTRICTIONS EXPRESSED VIA CONTENT SIGNALS ARE EXPRESS RESERVATIONS OF
36# RIGHTS UNDER ARTICLE 4 OF THE EUROPEAN UNION DIRECTIVE 2019/790 ON COPYRIGHT
37# AND RELATED RIGHTS IN THE DIGITAL SINGLE MARKET.
38=== 한국어 의역 ===
39이 웹사이트에 접속하는 조건으로 귀하는 아래 조건을 준수하는 것으로 간주합니다:
40a) 만일 접근이 허가될 경우, 귀하는 이 사이트의 컨텐츠를 사용/수집할 수 있습니다.
41b) 만일 불허될 경우, 귀하는 이 사이트의 컨텐츠를 사용/수집할 수 없습니다.
42c) 만일 이 사이트의 관리자가 별도로 사용 조건을 명시하지 않은 경우, 수여자 측에 어떠한 컨텐츠 사용/수집 허가나 불허 의사가 명시되지 않은 것으로 간주합니다.
43
44이 페이지에서 언급되는 접근의 종류와 의미는 다음과 같습니다:
45search - 본 사이트의 컨텐츠를 이용하여 색인을 생성하고, 그 결과를 검색 엔진에의 하이퍼링크 제공이나 짧은 개요를 통해 제공하는 것을 의미합니다. 이는 인공지능으로 생성된 검색 개요를 포함하지 않습니다.
46ai-input - 한 개 이상의 AI 모델에 보강된 생성, 보완, 혹은 이를 기반으로 하여 실시간으로 생성되는 AI의 답변을 위해 본 사이트의 컨텐츠를 이용하는 것을 의미합니다.
47ai-train - 인공지능 모델을 훈련시키거나, 보정하기 위해 본 사이트의 컨텐츠를 이용하는 것을 의미합니다.
48
49이 페이지에 명시된 조건은 하기 권리에 따른 명시적 유보임을 알립니다:
50저작권에 관한 유럽 연합 지침 2019/790 제4조에 따른 권리
r4
211.178.136.251
51및 디지털 단일 시장에서의 관련 권리
52
53== 나무위키의 robots.txt ==
54User-agent: *
55Disallow: /
56Allow: /$
57Allow: /ads.txt
58Allow: /w/
59Allow: /history/
60Allow: /backlink/
61Allow: /OrphanedPages
62Allow: /UncategorizedPages
63Allow: /ShortestPages
64Allow: /LongestPages
65Allow: /RecentChanges
66Allow: /RecentDiscuss
67Allow: /Search
68Allow: /discuss/
69Allow: /js/
70Allow: /img/
71Allow: /css/
72Allow: /skins/
73Allow: /favicon.ico
74Allow: /_nuxt/
75Allow: /sidebar.json
76Allow: /cdn-cgi/
77=== 해석 ===
78모든 사용자 에이전트를 대상으로 아래 허가된 페이지를 제외한 모든 페이지에 접근을 불허합니다:
79
80광고, 문서 본문, 문서 역사, 역링크, 고립된 문서, 분류되지 않은 문서, 내용이 짧은 문서, 내용이 긴 문서, 최근 변경, 최근 토론, 검색, 문서 내 토론, 스킨 요소, 사이드바, cloudflare 요소