Grandes données de référence

Question

Dans mon travail Azure Streaming Analytics, j'essaie de géolocaliser des adresses IP. La référence que j'utilise est d'environ 165 Mo. blobs de référence Les données sont limitées à 100 Mo chacun, mais les documentation indique ce qui suit:

flux Analytics a une limite de 100 Mo par blob, mais l'emploi peut traiter plusieurs blobs de référence en utilisant la propriété de modèle de chemin.

Comment est-ce que je pourrais profiter de cela? J'ai divisé mes données en deux fichiers de 85 Mo, iplookup1.csv et iplookup2.csv, mais je ne semble pas être en mesure de comprendre comment obtenir l'entrée de données de référence à ramasser à la fois comme un grand ensemble de données. En tant qu'interruption, je peux essayer de créer deux entrées de données de référence, puis faire une jointure gauche sur les deux et tirer la valeur qui n'est pas nulle.

Answer 1

par ma compréhension, pour les données de référence, vous pouvez spécifier les données statiques (par exemple products/products.csv) dans la propriété Pattern Path ou vous pouvez spécifier une ou plusieurs instances de ces variables ({date}, {time}) comme products/{date}/{time}/products.csv pour rafraîchir vos données de référence. En fonction de votre scénario, j'ai supposé que vous deviez créer deux entrées de données de référence, puis vous pouvez tirer parti de l'opération Union pour combiner les résultats de deux ou plusieurs requêtes en un seul résultat. Pour les données de référence JOIN, vous pouvez suivre here.

MISE À JOUR:

SELECT I1.propertyName, ip01.propertyName 
    FROM Input1 I1 
    JOIN iplookup1 ip01 
    ON I1.address= ip01.address 

UNION 

SELECT I1.propertyName, ip02.propertyName 
    FROM Input1 I1 
    JOIN iplookup2 ip02 
    ON I1.address= ip02.address