From 33058f2b292b3a581333bdfb21b8f671898c5060 Mon Sep 17 00:00:00 2001
From: Peter Bengtsson <mail@peterbe.com>
Date: Tue, 8 Dec 2020 14:40:17 -0500
Subject: initial commit

---
 files/ja/glossary/robots.txt/index.html | 22 ++++++++++++++++++++++
 1 file changed, 22 insertions(+)
 create mode 100644 files/ja/glossary/robots.txt/index.html

(limited to 'files/ja/glossary/robots.txt/index.html')

diff --git a/files/ja/glossary/robots.txt/index.html b/files/ja/glossary/robots.txt/index.html
new file mode 100644
index 0000000000..443b23a96c
--- /dev/null
+++ b/files/ja/glossary/robots.txt/index.html
@@ -0,0 +1,22 @@
+---
+title: Robots.txt
+slug: Glossary/Robots.txt
+tags:
+  - Glossary
+  - Infrastructure
+translation_of: Glossary/Robots.txt
+---
+<p>Robots.txt は通常、ウェブサイトのルートに配置されているファイルです。このファイルは、{{Glossary("crawler", "クローラー")}} からウェブサイトへのアクセスを許可するか、禁止するかを決定します。</p>
+
+<p>例えば、サイト管理者はクローラーが特定のフォルダー（とそこに含まれるすべてのファイル）にアクセスしたり、特定ファイルをクロールするのを禁止でき、通常はこれらのファイルが他の検索エンジンによってインデックスされることを防ぐために使われます。</p>
+
+<h2 id="詳細情報" name="詳細情報">詳細情報</h2>
+
+<h3 id="一般的な知識">一般的な知識</h3>
+
+<ul>
+ <li>Wikipedia 上の {{Interwiki("wikipedia", "Robots.txt")}}</li>
+ <li><a href="https://developers.google.com/search/reference/robots_txt" rel="nofollow">https://developers.google.com/search/reference/robots_txt</a></li>
+ <li>標準ドラフト仕様: <a href="https://tools.ietf.org/html/draft-rep-wg-topic-00">https://tools.ietf.org/html/draft-rep-wg-topic</a></li>
+ <li><a href="https://www.robotstxt.org/" rel="nofollow">https://www.robotstxt.org/</a></li>
+</ul>
-- 
cgit v1.2.3-54-g00ecf