blob: 4b4a8fdf1f0ac998140b614d14140bc245b1407c (
plain)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
|
---
title: Robots.txt
slug: Glossary/Robots.txt
tags:
- Glossaire
- Infrastructure
translation_of: Glossary/Robots.txt
original_slug: Glossaire/Robots.txt
---
Robots.txt est un fichier qui est habituellement placé à la racine d'un site web. Il détermine si les {{Glossary("crawler", "robots d'indexation")}} ont ou non l'autorisation d'accéder au site web.
Par exemple, l'administrateur d'un site peut interdire aux robots d'indexation de parcourir un certain dossier (et tous les fichiers contenus à l'intérieur) ou de parcourir un fichier spécifique, généralement pour empêcher ces fichiers d'être indexés par d'autres moteurs de recherche.
## Pour approfondir
### Culture générale
- {{Interwiki("wikipedia", "Protocole_d'exclusion_des_robots", "Robots.txt")}} sur Wikipédia
|
