De nombreuses erreurs ont été envoyées à mon adresse de courrier électronique en raison de la présence de robots d'exploration sur certaines parties de mon site sans aucune demande. Je me demandais quel est le meilleur moyen de gérer les robots d'exploration de Django? Dois-je émettre une redirection lorsque je rencontre un QueryDict vide?Comment gérer les robots d'indexation dans Django?
2
A
Répondre
1
Vous pouvez envisager d'implémenter un robots.txt pour empêcher les robots d'exploration d'accéder à des zones de votre site destinées uniquement aux humains, telles que les formulaires.
-1
Les robots bien élevés ne devraient faire que des requêtes GET. Les formulaires doivent être tout sauf des requêtes GET.
Ruby et Rails utilise la cartographie CRUD
Create -> POST,
READ -> GET,
Update -> PUT,
Delete -> DELETE
Seules les choses sans informations supplémentaires doivent être appelés demandes.
1
Je pense que vos vues devraient fonctionner avec n'importe quelle demande, à la page de retour de liste avec le message "Demande incorrecte". 500 est moche. Etes-vous sûr que l'utilisateur n'ouvre pas la page sans données de requête? La méthode "get" de QueryDict peut vous aider avec les valeurs par défaut.
Questions connexes
- 1. Empêcher les robots de gérer les images d'un site Web
- 2. Comment gérer les actions dans Django/Tastypie?
- 3. Django comment gérer les clés étrangères dans les tables enfants
- 4. Comment gérer les modules Javascript dans les templates django?
- 5. Comment gérer les sessions Django correctement
- 6. Comment arrêter les robots anti-spam?
- 7. Comment développer les meilleures robots d'exploration Web
- 8. Comment faire pour ignorer les robots d'indexation?
- 9. Django: Comment gérer les importations dans une application réutilisable
- 10. Comment gérer l'ancienne exigence pip dans les migrations Django Sud?
- 11. Comment gérer plusieurs types d'utilisateurs dans Django
- 12. Comment gérer correctement les dépendances django pour les déploiements futere
- 13. Comment désactiver les sessions Rails pour les robots d'indexation?
- 14. Comment puis-je savoir si une page autorise les robots?
- 15. Comment empêcher les robots d'exploration de suivre les liens?
- 16. Site Web résistant aux robots
- 17. bloquer les robots en modifiant htaccess
- 18. Arrêter les robots abusifs de ramper?
- 19. Est-ce que Rails crée des sessions pour les robots d'exploration et les robots?
- 20. Django File Upload: Comment gérer le fichier?
- 21. URL Django: Comment gérer un paramètre
- 22. Commande de django-haystack - Comment gérer ceci?
- 23. Meilleure façon de gérer les variables de requête dans Django
- 24. lutter contre les robots collecteurs de mails
- 25. Gérer des pages sans CMS dans Django?
- 26. Comment gérer unicode d'un encodage inconnu dans Django?
- 27. comment gérer le mécanisme de verrouillage-écriture dans django
- 28. Robots noindex, nofollow dans CakePHP 2.0
- 29. meilleure façon de gérer JSON dans django
- 30. Méta-robots dynamiques
"Les formulaires doivent être tout sauf les requêtes GET" -> Qu'en est-il de '
Doit être découragé. regardez la page d'accueil de Twitter et voyez s'il y a des formulaires GET. – EnabrenTane
Mon crawler utilise toujours DELETE .../s – titaniumdecoy