Comment envoyer des données à l'aide du socket TCP dans Windows pour Spark Structured Streaming

Question

Je souhaite créer et envoyer des données à l'aide d'un socket TCP afin de pouvoir l'utiliser en tant que source Streaming pour Spark Structured Streaming. J'utilise Windows OS. J'ai essayé d'utiliser Putty pour SSH à mon localhost mais cela demande un login et un mot de passe que je ne sais pas quoi donner.

Quelqu'un peut-il s'il vous plaît aidez-moi à atteindre cet objectif. Merci d'avance !!

Answer 1

Ici, j'ai eu ma réponse. Il suffit de suivre ces étapes: 1- Installer netcat depuis here 2- Après avoir téléchargé netcat, allez dans le répertoire netcat installé et ouvrez-le dans cmd. 3- maintenant courir: nc -l -p [YourPortNumber] 4- Exécutez maintenant l'étincelle qui suit le code structuré en streaming

val df = spark 
     .readStream 
     .format("socket") 
     .option("host", "your host") 
     .option("port", "your port") 
     .load() 

df.selectExpr("CAST(value AS STRING)") 
    .writeStream 
    .format("console") 
    .option("truncate", "false") 
    .start() 
    .awaitTermination() 

5- Maintenant commencez à saisir vos données dans la fenêtre cmd où votre socket écoute.

Si vous voulez vérifier si votre port écoute le numéro de port mentionné. aller à la fenêtre cmd et tapez:

telnet yourhost votre_port

et entrez. Maintenant, commencez à taper et voir si les données sont reçues à votre fenêtre cmd prevous où vous écoutiez le port