diff options
Diffstat (limited to 'files/ja/glossary/robots.txt/index.html')
| -rw-r--r-- | files/ja/glossary/robots.txt/index.html | 22 |
1 files changed, 22 insertions, 0 deletions
diff --git a/files/ja/glossary/robots.txt/index.html b/files/ja/glossary/robots.txt/index.html new file mode 100644 index 0000000000..443b23a96c --- /dev/null +++ b/files/ja/glossary/robots.txt/index.html @@ -0,0 +1,22 @@ +--- +title: Robots.txt +slug: Glossary/Robots.txt +tags: + - Glossary + - Infrastructure +translation_of: Glossary/Robots.txt +--- +<p>Robots.txt は通常、ウェブサイトのルートに配置されているファイルです。このファイルは、{{Glossary("crawler", "クローラー")}} からウェブサイトへのアクセスを許可するか、禁止するかを決定します。</p> + +<p>例えば、サイト管理者はクローラーが特定のフォルダー（とそこに含まれるすべてのファイル）にアクセスしたり、特定ファイルをクロールするのを禁止でき、通常はこれらのファイルが他の検索エンジンによってインデックスされることを防ぐために使われます。</p> + +<h2 id="詳細情報" name="詳細情報">詳細情報</h2> + +<h3 id="一般的な知識">一般的な知識</h3> + +<ul> + <li>Wikipedia 上の {{Interwiki("wikipedia", "Robots.txt")}}</li> + <li><a href="https://developers.google.com/search/reference/robots_txt" rel="nofollow">https://developers.google.com/search/reference/robots_txt</a></li> + <li>標準ドラフト仕様: <a href="https://tools.ietf.org/html/draft-rep-wg-topic-00">https://tools.ietf.org/html/draft-rep-wg-topic</a></li> + <li><a href="https://www.robotstxt.org/" rel="nofollow">https://www.robotstxt.org/</a></li> +</ul> |