0
Je suis nouveau dans java.Je veux faire un simple crawler web.how pour accéder à un fichier robots.txt pour un site Web dans java.actually je ne sais pas beaucoup de robots.txt. plz m'aider.Accéder au fichier robots.txt dans java
ce que tu as essayé jusqu'ici? –
Le fichier robots.txt se trouve dans un emplacement assez standard sur chaque site Web (puisque n'importe quel nombre de moteurs de recherche doit être en mesure de le trouver). Accéder à cela est aussi simple que de faire un get de [url] /robots.txt;) –