SQLITE - un fichier avec 5 000 000 valeurs TINYINT?

Question

Je voudrais créer un fichier SQLITE qui comprend 5 000 000 valeurs tinyint (entre 0 et 256). Selon mes calculs, ce fichier devrait utiliser environ 5 [MB].

Pourtant, j'obtiens un fichier de taille plus proche de 50 [MB].

Voici le code que j'utilise:

import sqlite3 
# Create and populate a database 
db = sqlite3.connect('/home/mine/temp.db') 
db.execute("CREATE TABLE IF NOT EXISTS test(id INT2)") 
for i in range(0, 5000000): 
    db.execute("INSERT INTO test(id) VALUES({0})".format(0)) 
db.commit() 
db.close() 

Toute idée comment optimiser les choses pour que cela prend beaucoup moins d'espace?

Answer 1

Il y a bien plus dans une base de données que de l'espace pour 5 millions de minuscules. SQLite a publié details of their file format. Il semble dire que vous aurez besoin d'au moins 9 octets par ligne.

SQLite utilise deux variantes distinctes de la structure B-Tree:

• Le tableau B-Tree, qui utilise 64 bits des valeurs entières pour les clés. Dans un tableau B-Tree , un enregistrement de base de données associé (section 2.3.2) est stocké avec chaque entrée. Les structures du tableau B-arborescence sont décrites en détail à la section 2.3.4.
• L'index B-Tree, qui utilise les enregistrements de base de données comme clés. Les structures de l'Index B-Tree sont décrites en détail dans la section 2.3.3 du document .

Answer 2

Avez-vous envisagé d'utiliser une table de valeurs/fréquences à deux colonnes? Cela rendrait les requêtes un peu plus compliquées (par exemple, vous auriez besoin de SUM(Value * Freq)/SUM(Freq) au lieu de AVG(Value)), mais vous n'auriez besoin que de 256 lignes au lieu de 5 millions.