Je suis au courant de Twissandra qui est un exemple de clone de twitter en utilisant Cassandra mais j'étais intéressé de voir si quelqu'un a partagé un schéma de Cassandra de ne pas cloner Twitter, mais d'utiliser pour stocker les tweets provenant de Twitter API de streaming?Apache Cassandra Schéma de données pour Twitter Streaming API
Répondre
Cela dépend beaucoup du type de requêtes que vous voulez faire avec les données après l'avoir ingéré - Je vois de votre question précédente "Dumping Twitter Streaming API tweets ..." vous voulez probablement juste faire un gros traitement par lots dessus. Si c'est le cas, vous devez juste vous soucier de l'équilibrage de charge, en vous assurant que chaque nœud du cluster gère 1/n de la charge d'écriture et contient 1/n des données - en utilisant la partition aléatoire et en insérant une ligne par tweets avec l'identifiant d'état comme clé de ligne le permettra. Cependant, si vous voulez faire des requêtes comme "donnez-moi tous les tweets pour un utilisateur donné", vous aurez besoin d'un schéma légèrement plus compliqué, car le schéma suggéré ci-dessus vous demandera d'analyser toutes les données. Vous pouvez insérer plusieurs tweets par ligne, la clé de la ligne étant l'ID utilisateur, la clé de la colonne étant l'ID du tweet et la valeur étant le tweet. Ensuite, vous pouvez utiliser get_slice pour répondre à cette requête.
Un bon blog (peu lié): http://blog.insidesystems.net/basic-time-series-with-cassandra
- 1. Twitter Streaming API
- 2. Twitter Streaming API avec Twitter4j
- 3. Twitter streaming api se bloque
- 4. Twitter streaming API - accès firehose
- 5. Twitter streaming API bibliothèque .NET
- 6. Modèle correspondant API Twitter Streaming
- 7. Python pycurl avec Twitter Streaming API
- 8. API de streaming Twitter avec OAuth?
- 9. Tomber Twitter Tweets API de diffusion en l'état tel qu'il est à Apache Cassandra pour le post-traitement
- 10. twitter streaming api au lieu de recherche api
- 11. Comment utiliser Twitter Streaming API avec PHP?
- 12. Twitter - API de streaming pour la surveillance mondiale des tweets?
- 13. Poignée pycurl accrocher sur Twitter streaming api
- 14. Streaming Twitter API - comment ça marche?
- 15. Twitter Streaming API avec oAuth avec Python
- 16. Twitter Streaming API - combiner deux prédicats
- 17. Twitter Streaming API avec Tweepy rejette oauth
- 18. Twitter streaming api - comment lire les retweets
- 19. Cassandra: faire un modèle de données/schéma
- 20. Streaming API vs Rest API?
- 21. Strange twitter api url schéma retour
- 22. Analyse de flux YAJL et API de streaming Twitter
- 23. Django, Twitter Streaming API (utilisant Twython ou une autre bibliothèque)
- 24. Développement d'un "schéma" Cassandra pour des données sans ID unique
- 25. Création du schéma de Cassandra
- 26. Mauvaise demande avec Twitter Streaming API et ReactPHP
- 27. Besoin d'un schéma de Cassandra
- 28. Cassandra 1.0 Accord de schéma
- 29. Comment consommer Twitter Streaming API en utilisant Heroku et MongoLab?
- 30. HTTP :: Parser :: Erreur avec Rails et API Twitter Streaming
Avez-vous des mises à jour à ce sujet? Venez-vous avec un régime qui vous a été utile? – felipeclopes
J'ai abandonné Cassandra et utilisé HBase à la place d'un schéma personnalisé –