Le moyen le plus rapide d'obtenir des vidéos YouTube pour plus de 100 000 chansons

Question

Quel est le moyen le plus rapide d'obtenir des vidéos YouTube pour plus de 100 000 chansons? J'utilise actuellement PHP et SimpleXML pour analyser le flux de YouTube, mais cela semble plutôt lent. D'autres idées?

Answer 1

Ouais, vous êtes probablement dans un peu d'attente mon ami.

Answer 2

Une autre façon possible d'aborder ce problème - la base de données MusicBrainz éditée par l'utilisateur a des liens d'artistes et de labels vers leurs chaînes YouTube. Détails sur le wiki here. Notez que cela ne prend pas en charge les liens directs de chanson à vidéo, et est uniquement pour les vidéos officielles.

Answer 3

10000 chansons YouTube vont prendre du temps. Considérez ceci:

Time to download: 0.1 seconds 
Time to parse: 0.05 seconds 
Time to hit your database: 0.05 seconds 
Total: 0.2 seconds 
0.2 * 10000 = 2000 seconds 
2000 seconds = 33 minutes 

Accordé, ceci est une estimation approximative. Si c'est encore proche, cependant, vous pouvez voir pourquoi cela prendra du temps.

Voici quelques suggestions:

• Exécutez votre opération dans un CRON afin que vous n'êtes pas frapper une application de navigateur/arbitraire les délais d'attente
• Utiliser la mise en cache chaque fois que possible
• Essayez d'effectuer des téléchargements en lots si
• Effectuez un test d'erreur préliminaire sur le flux (c'est-à-dire: vérifiez les flux vides) en utilisant Regex avant de l'envoyer à SimpleXML. L'exécution d'une validation simple dans SimpleXML est beaucoup plus lente que l'utilisation de preg_match.

Sinon, nous aurons besoin de voir du code pour vous donner une réponse plus complète.

Espérons que cela aide!