Comment convertir la table sql en une structure de données pyspark/python et revenir à sql dans le bloc-notes databricks

Question

Je cours un cahier de sql sur des databricks. Je voudrais analyser une table avec un demi-milliard d'enregistrements. Je peux exécuter des requêtes SQL simples sur les données. Cependant, j'ai besoin de changer le type de colonne de date de str à ce jour.

Malheureusement, les instructions update/alter ne semblent pas être prises en charge par sparkSQL, il semble donc que je ne puisse pas modifier les données de la table.

Quelle serait la ligne de code qui me permettrait de convertir la table SQL en une structure de données python (dans pyspark) dans la cellule suivante? Ensuite, je pourrais modifier le fichier et le renvoyer à SQL.

Answer 1

dataFrame = sqlContext.sql('select * from myTable')