Exécution de Tensorflow distribué sur le moteur Google Cloud ML ClusterSpec

Question

J'essaie d'exécuter un grand modèle de tensorflow distribué sur le moteur ML de Google Cloud et je n'arrive pas à comprendre ce qui devrait se passer tf.train.ClusterSpec. Lorsque vous exécutez un travail sur Google Cloud, vous pouvez sélectionner scale tier dans BASIC, STANDARD_1, PREMIUM_1, BASIC_GPU ou CUSTOM, chacun vous donnant accès à différents types de clusters. Cependant, je ne trouve pas le nom/l'adresse des machines dans ces groupes.

Answer 1

Veuillez consulter la documentation et l'échantillon here. Vous devez définir ClusterSpec en utilisant la variable d'environnement TF_CONFIG; par exemple.

tf_config = os.environ.get('TF_CONFIG') 

    # If TF_CONFIG is not available run local 
    if not tf_config: 
    return run('', True, *args, **kwargs) 

    tf_config_json = json.loads(tf_config) 
    cluster = tf_config_json.get('cluster') 
    ... 
    cluster_spec = tf.train.ClusterSpec(cluster)