1

Depuis mon expérience Data Science, je peux établir une connexion à la base de données Hive dans BigInsights et lire le schéma de la table. Mais Data Science Experience ne semble pas être capable de lire le contenu de la table car je reçois un compte de zéro! Voici quelques-uns de mes paramètres:Data Science Experience répond avec une table Hive vide

conf = (SparkConf().set("com.ibm.analytics.metadata.enabled","false"))  

spark = SparkSession.builder.enableHiveSupport().getOrCreate()  

dash = { 
'jdbcurl': 'jdbc:hive2://nnnnnnnnnnn:10000/;ssl=true;', 
'user': 'xxxxxxxxxx', 
'password': 'xxxxxxxxx', 
}  

spark.conf  

offers = spark.read.jdbc(dash['jdbcurl'], 
        table='offers', 
        properties={"user" : dash["user"], 
           "password" : dash["password"]})  

offers.count()  returns: 0 

offers.show()  
    returns: 

+-----------+----------+  
|offers.name|offers.age|  
+-----------+----------+  
+-----------+----------+  

Merci.

Répondre

0

Oui, j'ai pu voir le même comportement avec le connecteur ruche jdbc. J'ai essayé ce connecteur python et il a renvoyé le nombre correct.

https://datascience.ibm.com/docs/content/analyze-data/python_load.html

from ingest.Connectors import Connectors

`HiveloadOptions = { Connectors.Hive.HOST      : 'bi-hadoop-prod-4222.bi.services.us-south.bluemix.net', 
        Connectors.Hive.PORT      : '10000', 
        Connectors.Hive.SSL      : True, 
        Connectors.Hive.DATABASE     : 'default', 
        Connectors.Hive.USERNAME     : 'charles', 
        Connectors.Hive.PASSWORD     : 'march14march', 
        Connectors.Hive.SOURCE_TABLE_NAME   : 'student'} 

`

`HiveDF = sqlContext.read.format("com.ibm.spark.discover").options(**HiveloadOptions).load()` 

HiveDF.printSchema()

HiveDF.show()

HiveDF.count()

Merci, Charles.