J'ai suivi le tutoriel pour la mise en place JupyterHub sur un cluster AWS DME à ce lien: https://aws.amazon.com/blogs/big-data/running-jupyter-notebook-and-jupyterhub-on-amazon-emr/Comment tester stress/charge JupyterHub pour plusieurs utilisateurs?
Je suis la mise en cluster et en cours d'exécution, mais maintenant ma question est de savoir comment puis-je stress test/charge? (c'est-à-dire simuler 100 utilisateurs passant simultanément sur les ordinateurs portables). Dans une salle de classe, j'avais environ 30 utilisateurs dans ma classe, mais il y avait un énorme ralentissement quand plus de gens commençaient à exécuter les blocs de code dans les cahiers. Ce qui s'est passé, c'est que les importations de la bibliothèque python ont pris une éternité, certains exercices ont cessé de fonctionner ou étaient simplement suspendus. Cloudwatch a montré qu'il y avait un goulot d'étranglement sur le réseau.
Fondamentalement, ce que je demande comment puis-je aller sur le débogage quelque chose comme ça? Quelle est la meilleure façon de simuler plusieurs utilisateurs entrant dans le cluster EMR, ouvrant des blocs-notes jupyter et exécutant les blocs de code simultanément?