2010-03-24 6 views
5

Pour le développement d'applications hadoop, les frameworks PHP sont-ils moins populaires? Si oui, pourquoi? Sinon, s'il vous plaît pointer littérature/documentation/tutoriels pour un cadre spécifique? (les choses pour Symfony seraient géniales!)Développement d'applications Hadoop, et PHP

Répondre

6

Fondamentalement, Hadoop vous permet d'exécuter vos propres classes Java dans le cluster pour les exécuter sur les serveurs appropriés aux moments appropriés. Toutes les API non JVM pour Hadoop impliquent essentiellement l'exécution de classes java préexistantes, donc rien de sophistiqué n'est possible.

De plus, hadoop n'est pas vraiment un framework interactif. Il est plus adapté pour le traitement par lots d'énormes quantités de données en un temps raisonnable. La règle d'un pouce est que si vous sous-travail traite moins de 15 Mo en une seule étape, vous ne devriez pas déranger avec hadoop. Les frais généraux de la mise en place du travail et du brassage des données et des résultats vont juste vous tuer.

Rien ne vous empêche de créer votre propre API hadoop pour PHP de la même façon que pour Python. Cependant, PHP n'est pas vraiment populaire auprès de la foule qui fait du traitement de données à grande échelle.

+0

Merci, Vlad! Pourtant, la raison pour laquelle PHP est hors de la faveur de la communauté hadoop n'est pas claire pour moi. Par exemple, il existe une application Ruby, open source, trendingtopics.org démontrant l'utilisation de hadoop dans une application Il n'y a rien d'équivalent fait par personne, thislong! Serait bon de savoir s'il y a des raisons plus importantes derrière le même. – Arvind

+2

bien ce que trendingtopics.org n'utilise pas réellement Ruby pour les buts de hadoop. Ruby est utilisé juste comme un frontal pour la base de données. La base de données est peuplée par un travail hadoop. Le travail hadoop est écrit en combinaison de ruche et python. Voici le code http://github.com/datawrangling/trendingtopics/tree/master/lib/scripts/. C'est exactement l'application que j'avais en tête lorsque j'ai mentionné les liaisons python. – Vlad