Ajout de paquets python à utiliser dans spark dans aws EMR

Question

Je viens de commencer à utiliser AWS EMR dans le cadre du test -J'ai créé un fichier boot-strap pour installer des paquets python particuliers en utilisant pip sur mon instance EMR. Je comprends que c'est quelque chose de très basique. le script bash contient

#!/bin/bash 
set -e 
pip install typing --user 

Cependant, lorsque je soumets le script python comme une étape, je reçois l'erreur suivante

Traceback (most recent call last): File "py-calculate.py", line 6, in from typing import Iterable ImportError: No module named typing End of LogType:stdout

De quoi il ressemble, le paquet de frappe ne sont pas en cours d'installation .

Answer 1

Comme je l'avais deviné, le paquet de frappe n'est pas installé. la méthode que j'ai utilisée est de modifier le script bash à

#! /bin/bash 
sudo pip install -U typing 

Pour une raison quelconque, cela fonctionne mieux.