Données de partage de cloud Google entre les machines virtuelles

Question

Je souhaite créer une machine virtuelle sur Google Compute Engine avec des GPU afin d'effectuer certaines tâches.

Maintenant, le problème est que les données à télécharger sur les VM de mon réseau local sont énormes, et je suis sévèrement limité par mon Internet lent et peu fiable. Je suis conscient du transfert de fichiers entre machines Unix en utilisant SCP, mais même cela prendrait des heures, et cela signifie que mon GPU en ligne (les composants les plus chers) serait inactif, et je serais facturé pour rien.

J'ai pensé à d'abord transférer des fichiers vers la machine virtuelle, puis ajouter des GPU, mais j'ai été incapable de modifier la machine virtuelle pour ajouter des GPU dans un tel cas.

Par conséquent, j'ai besoin d'aide avec deux solutions possibles.

Est-il possible pour moi d'ajouter un disque persistant à une machine virtuelle, de transférer des données, de générer une nouvelle machine virtuelle et de déplacer le disque vers la nouvelle machine virtuelle? Si oui alors comment?

OU

Est-il possible de modifier une machine virtuelle existante pour ajouter des instances de GPU affichent sa création? Si oui alors comment?

Toutes sortes d'aide seront appréciées. Je vous remercie!

Answer 1

Ce sont quelques suggestions:

• Soumettre vos données à un seau Google Cloud Storage puis extraire les données à partir de là à la machine virtuelle en cas de besoin (ce sera relativement rapide par rapport à la copie des données de votre machine locale dans la VM). GCS fournit également un FUSE tool pour monter les compartiments GCS sur votre machine virtuelle, puis être capable de lire/écrire des données si nécessaire. Les compartiments GCS constituent l'option la plus flexible de cette liste.

• Vous pouvez créer un disque persistant, y télécharger les données une fois. Ensuite, attachez-le si nécessaire à vos machines virtuelles basées sur GPU en cas de besoin. Vous pouvez avoir plusieurs machines virtuelles reliant le même disque simultanément en mode lecture seule.

• Vous pouvez prendre des instantanés sur des disques persistants et restaurer un instantané sur un nouveau disque persistant si nécessaire. Ceci est plus utile pour les sauvegardes que votre cas d'utilisation principal. Envisagez de partitionner et/ou de partitionner vos données afin de pouvoir extraire des données d'un serveur distant (comme GCS) lorsque vous exécutez vos workloads sur GPU en parallèle.

Answer 2

Si c'est une charge de travail de traitement par lots et de prendre moins de 24 heures pour terminer, que cela puisse paraître, vous devez utiliser preemptible machines pour réduire le coût de manière drastique.

Les détails techniques sont ici:

• https://cloud.google.com/compute/docs/instances/create-start-preemptible-instance

Peut-être que quelques-uns highcpu avec la dernière génération de CPU Intel Skylake pourrait travailler pour vous? Je ne pense pas que vous pouvez préempter GPU machines.

Mes 2 cents.