Chargez plusieurs fichiers dans la table HIVE

Question

Regardez J'essaie d'analyser trop de fichiers dans une seule table HIVE. Les aperçus, je travaille avec des fichiers JSON et la structure des tables est:

CREATE EXTERNAL TABLE test1 
(
STATIONS ARRAY<STRING>, 
SCHEMESUSPENDED STRING, 
TIMELOAD TIMESTAMP 
) 
ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe' 
LOCATION '/user/andres/hive/bixihistorical/'; 

J'ai besoin de charger environ 50 fichiers avec la même structure tous. J'ai essayé des choses comme:

LOAD DATA INPATH '/user/andres/datasets/bixi2017/*.json' 
OVERWRITE INTO TABLE test1; 

LOAD DATA INPATH '/user/andres/datasets/bixi2017/*' 
OVERWRITE INTO TABLE test1; 

LOAD DATA INPATH '/user/andres/datasets/bixi2017/' 
OVERWRITE INTO TABLE test1; 

N'importe lequel de ceux ci-dessus ont fonctionné, aucune idée de gars comment dois-je aller à travers? merci beaucoup

Answer 1

Je suis tellement tellement .... Eh bien, je me souviens juste que vous pouvez créer juste une table externe stockée dans le même dossier tous les fichiers avec la même structure sont situés. Donc, de cette façon, je vais charger des enregistrements entiers dans un seul tournage.

> CREATE EXTERNAL TABLE bixi_his 
> (
> STATIONS ARRAY<STRUCT<id: INT,s:STRING,n:string,st:string,b:string,su:string,m:string,lu:string,lc:string,bk:string,bl:string,la:float,lo:float,da:int,dx:int,ba:int,bx:int>>, 
> SCHEMESUSPENDED STRING, 
> TIMELOAD BIGINT 
>) 
> ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe' 
> LOCATION '/user/ingenieroandresangel/datasets/bixi2017/'; 

grâce

Answer 2

Faire dossier que contient uniquement que les fichiers qui doivent être chargés dans la table Ruche.

CREATE TABLE test1 EXTERNE ( STATIONS ARRAY, STRING SCHEMESUSPENDED, TIMELOAD TIMESTAMP) ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe' LOCATION «/user/andres/ruche/bixihistorical/'; CHARGER DES DONNEES INPATH '/ user/andres/datasets/bixi2017 /' ECRIRE DANS LA TABLE test1;