blob: 443b23a96c2145d1bec2b7a20ce3edbe08821f9a (
plain)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
|
---
title: Robots.txt
slug: Glossary/Robots.txt
tags:
- Glossary
- Infrastructure
translation_of: Glossary/Robots.txt
---
<p>Robots.txt は通常、ウェブサイトのルートに配置されているファイルです。このファイルは、{{Glossary("crawler", "クローラー")}} からウェブサイトへのアクセスを許可するか、禁止するかを決定します。</p>
<p>例えば、サイト管理者はクローラーが特定のフォルダー（とそこに含まれるすべてのファイル）にアクセスしたり、特定ファイルをクロールするのを禁止でき、通常はこれらのファイルが他の検索エンジンによってインデックスされることを防ぐために使われます。</p>
<h2 id="詳細情報" name="詳細情報">詳細情報</h2>
<h3 id="一般的な知識">一般的な知識</h3>
<ul>
<li>Wikipedia 上の {{Interwiki("wikipedia", "Robots.txt")}}</li>
<li><a href="https://developers.google.com/search/reference/robots_txt" rel="nofollow">https://developers.google.com/search/reference/robots_txt</a></li>
<li>標準ドラフト仕様: <a href="https://tools.ietf.org/html/draft-rep-wg-topic-00">https://tools.ietf.org/html/draft-rep-wg-topic</a></li>
<li><a href="https://www.robotstxt.org/" rel="nofollow">https://www.robotstxt.org/</a></li>
</ul>
|
