blob: 07ffe84f0d4976b454e7148e03fd4d7c0598868d (
plain)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
---
title: Robots.txt
slug: Glossary/Robots.txt
tags:
- Glossaire
- Infrastructure
translation_of: Glossary/Robots.txt
original_slug: Glossaire/Robots.txt
---
<p>Robots.txt est un fichier qui est habituellement placé à la racine d'un site web. Il détermine si les {{Glossary("crawler", "robots d'indexation")}} ont ou non l'autorisation d'accéder au site web.</p>
<p>Par exemple, l'administrateur d'un site peut interdire aux robots d'indexation de parcourir un certain dossier (et tous les fichiers contenus à l'intérieur) ou de parcourir un fichier spécifique, généralement pour empêcher ces fichiers d'être indexés par d'autres moteurs de recherche.</p>
<h2 id="Pour_approfondir">Pour approfondir</h2>
<h3 id="Culture_générale">Culture générale</h3>
<ul>
<li>{{Interwiki("wikipedia", "Protocole_d'exclusion_des_robots", "Robots.txt")}} sur Wikipédia</li>
</ul>
|
