Quelles sont les directives recommandées pour robots.txt dans une application Django?

Question

Actuellement, mon projet django a la structure suivante.

./ 
../ 
app1/ 
app2/ 
django_project 
manage.py 
media 
static 
secret_stuff 

et mon robots.txt ressemble à quelque chose comme ceci:

User-agent: * 
Allow:/
Sitemap: mysite.com/sitemaps.xml 

Je veux savoir les choses suivantes:

1. Quelles sont les recommander des directives dois-je ajouter à mon robots.txt fichier , Comme la documentation django ne dit rien sur ce sujet. Comment empêcher les robots d'atteindre (indexer) le contenu du répertoire secret_stuff et mysite.com/admin/?

   Disallow: /secret_stuff  (Is that okay ?) 
       Disallow: /admin   (Is that okay ?) 
   

Answer 1

directives robots ne sont pas liés à framework Django qui est la raison pour laquelle vous ne trouverez aucune information à ce sujet dans docs Django. Normalement, c'est à vous de décider quoi autoriser et à interdire la recherche sur votre site Web.

Il existe différentes manières d'inclure robots.txt dans le projet Django. J'utilise personnellement django-robots app qui simplifie la façon dont vous pouvez intégrer robots.txt dans votre projet.

Il n'est pas nécessaire de l'utiliser dans tous les projets. Si vous le trouvez plus simple, vous pouvez simplement rendre le fichier txt par vous-même.

Mon robots.txt simplifié pour le projet Django ressemble à:

User-agent: * 
Disallow: /*.pdf 
Disallow: /*.ppt 
Disallow: /*.doc 
Disallow: /*.xls 
Disallow: /*.txt 

User-agent: Yandex 
Allow: /events 
Allow: /contests 
Allow: /schools 
Disallow: /admin 
Crawl-delay: 3 

User-agent: Googlebot 
Allow: /events 
Allow: /contests 
Allow: /schools 
Disallow: /admin 
Crawl-delay: 3 

Host: https://mysite.ru 
Sitemap: https://mysite.ru/sitemap.xml