Colonnes dynamiques pour sac en cochon apache

Question

Je suis nouveau chez Apache Pig. Est-il possible de créer le sac avec des colonnes dynamiques? Voici le script par exemple.

A = LOAD 'student' USING PigStorage() AS (col1:chararray, col2:chararray, col3:chararray .......); 
B = FOREACH A GENERATE col1, col3; OR 
B = FOREACH A GENERATE col2, col3, col4; 

En bref obtenir la liste des colonnes et créer un sac. Est-ce possible et comment? Ce dont j'ai besoin ici, c'est d'obtenir des colonnes dynamiques. donc par exemple quelqu'un doit définir mon script pour fonctionner sur params = 'col1, col2, col4' alors mon script devrait être capable d'analyser cette chaîne et de l'utiliser pour obtenir les colonnes désirées.

Answer 1

je peux suggérer la variable ou utiliser MACRO paramètre avec script pour MACRO ici est par exemple

define dividend_analysis (daily, year, daily_symbol, daily_open, daily_close) 
returns analyzed { 
divs = load '/user/data/NYSE_dividends'as (exchange:chararray,  symbol:chararray, date:chararray, dividends:float); 
divisthisyear = filter divs by date matches '.*$year.*'; 
dailythisyear = filter $daily by date matches '.*$year.*'; 
jnd = join divisthisyear by symbol, dailythisyear by $daily_symbol; 
$analyzed = foreach jnd generate $1 ,$daily_close - $daily_open; }; 

daily = load '/user/data/NYSE_daily'as (exchange:chararray, symbol:chararray,  date:chararray, open:float, high:float, low:float, close:float, volume:int,  adj_close:float); 
results = dividend_analysis(daily, '2009', 'symbol', 'open', 'close'); 

Answer 2

A = LOAD 'student' using PigStorage(','); 

by this relation A contains all columns which has student file.You can access these columns by using sequence number like $0,$1,$2 
$0 --> First column 
$1 --> Second column 
$2 --> third column and so on