Databricks Spark Conf

Question

Désolé pour la question stupide ici, mais j'essaie de changer la configuration du connecteur étincelle, en particulier le connecteur Mongo Spark (Besoin de changer le connecteur de frapper notre serveur Prod à notre secondaire). Comment accéder à SparkConf pour effectuer ces modifications? J'utilise Databricks et Python, v2.1

Je regarde https://docs.mongodb.com/spark-connector/master/configuration/ mais je suis confus où je tape même cela? Localement? Dans un cahier? Dans la ligne de commande? J'ai essayé ceux-ci et n'ai pas eu de succès. Si quelqu'un a une ventilation pratique étape par étape, ce serait incroyable.

Answer 1

Si vous souhaitez fournir une configuration à l'aide tableau de bord Databricks:

• Accédez à votre tableau de bord Databricks.

• Panneau Ouvrir les clusters.

  

• Cliquez sur Créer un cluster.

  

• Ouvrez l'onglet Spark et spécifiez les options souhaitées:

  

• Vous devez utiliser le même format que pour les fichiers de configuration, y compris le préfixe:

  spark.mongodb.input.uri mongodb://host:port/ 
  

Référence:

• https://docs.databricks.com/user-guide/clusters/spark-config.html