fichiers à plat indexés

Question

Nous avons un travail SQL analytique par lots - exécuté une fois par jour - qui lit les données de 2 tables source conservées dans un SGBDR puissant. Les tables source sont énormes (> 100 To) mais ont moins de 10 champs combinés. La question que je me pose est que les 2 tables sources peuvent être conservées dans un fichier plat compressé et indexé, de sorte que toute l'opération peut être beaucoup plus rapide et économiser sur le stockage et peut être exécutée sur un serveur à basse spécification. Aussi, pouvons-nous exécuter des requêtes SQL sur ces fichiers plats compressés et indexés? Toute indication sur la façon de s'y prendre serait extrêmement utile.

Answer 1

La plupart des stratégies d'optimisation optimisent la vitesse ou la taille, et échangent les uns contre les autres. En général, les solutions de SGBDR optimisent la vitesse, au détriment de la taille, par exemple en créant un index, en prenant plus de place et, en retour, en accélérant l'accès aux données.

Il est donc peu probable que vous souhaitiez optimiser à la fois la vitesse et la taille - vous devrez presque certainement échanger les unes contre les autres. Deuxièmement, si vous voulez exécuter des requêtes de type «sql-like», je suis à peu près certain qu'un SGBDR est la meilleure solution, en particulier avec d'énormes ensembles de données. Il se peut que les données sous-jacentes se prêtent à une optimisation spécifique - par exemple, si vous pouvez créer un schéma d'indexation personnalisé basé sur des masques binaires pour créer des entiers et utiliser ces entiers pour accéder aux données à l'aide d'opérateurs booléens, peut être en mesure de battre les performances d'un indice SGBDR.