Je suis actuellement suis intéressé à effectuer données en temps réel des analyses utilisant des données de performance des avions en temps réel pour analyse prédictive. Quels outils et technologies pourraient être utilisés pour mettre en place un tel système au niveau de la recherche?La meilleure façon de faire l'analyse des données en temps réel
Pour l'analyse de données en temps réel si je serais à votre place, je devrais choisir les technologies suivantes
1) Kafka pour le temps réel des données Ingestion.
2) Spark en continu pour le traitement en continu
3) Spark ML pour l'aide d'algorithmes d'apprentissage machine (de prévision)
4) Zeppelin Apache pour la visualisation.
5) Stockage de données, vous pouvez utiliser Hive ou HDFS selon vos besoins
6) pour Ganglions suivi des performances
Hope this helps !!! ...
Super! Merci beaucoup. Et une question rapide à nouveau. Si je dois me limiter strictement à l'éco-système Hadoop, quelles sont mes possibilités? Ou autorise-t-il strictement le traitement par lots à cause de Map-Reduce? – TheShark
Je dirais que HADOOP est bon pour le traitement par lots pas très bon pour le traitement en temps réel, Spark va certainement vous servir en temps réel le traitement en streaming ainsi que les prédictions (Machine Learning) tout en un. sera un excellent choix !!! ... – Bhavesh
Merci pour votre commentaire! – TheShark
Salut et bienvenue Stack Overflow, s'il vous plaît lire comment créer un [exemple minimal, complet et vérifiable] (https://stackoverflow.com/help/mcve) et aussi vérifier [Comment poser de bonnes questions] (https://stackoverflow.com/ help/how-to-ask) afin d'augmenter vos chances d'obtenir des retours et des réponses utiles. – DarkCygnus
J'ai juste besoin de savoir ce que peuvent être les outils et les technologies, tels que Sparks, Hive, HBase, Kafka pourrait être utilisé pour faire des analyses en temps réel? – TheShark
En demandant que ce soit hors sujet pour le débordement de la pile, votre question n'est pas vraiment claire. Veuillez lire les liens fournis pour savoir pourquoi et, si possible, éditez votre question ou supprimez-la. – DarkCygnus