blob: 36537482fa964bb39d44b80d56b8b8606b399cfc (
plain)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
|
---
title: Robots.txt
slug: Glossaire/Robots.txt
tags:
- Glossaire
- Infrastructure
translation_of: Glossary/Robots.txt
---
<p>Robots.txt est un fichier qui est habituellement placé à la racine d'un site web. Il détermine si les {{Glossary("crawler", "robots d'indexation")}} ont ou non l'autorisation d'accéder au site web.</p>
<p>Par exemple, l'administrateur d'un site peut interdire aux robots d'indexation de parcourir un certain dossier (et tous les fichiers contenus à l'intérieur) ou de parcourir un fichier spécifique, généralement pour empêcher ces fichiers d'être indexés par d'autres moteurs de recherche.</p>
<h2 id="Pour_approfondir">Pour approfondir</h2>
<h3 id="Culture_générale">Culture générale</h3>
<ul>
<li>{{Interwiki("wikipedia", "Protocole_d'exclusion_des_robots", "Robots.txt")}} sur Wikipédia</li>
</ul>
|
