PostgreSQL lente sur une grande table avec des tableaux et beaucoup de mises à jour

Question

J'ai une assez grande table (enregistrements 20M) qui a un index de 3 colonnes et une colonne de tableau. La colonne de tableau est mise à jour quotidiennement (en ajoutant de nouvelles valeurs) pour toutes les lignes. Il y a aussi des inserts, mais pas autant que des mises à jour.

Les données du tableau représente des mesures quotidiennes correspondant aux trois touches, quelque chose comme ceci: [[date_id_1, my_value_for_date_1], [date_id_2, my_value_for_date_2]]. Il est utilisé pour dessiner un graphique de ces valeurs quotidiennes. Dire que je veux visualiser la valeur de la clé (a, b, c) au fil du temps, je fais SELECT values FROM t WHERE a = my_a AND b = my_b AND c = my_c. Ensuite, j'utilise le tableau values pour dessiner le graphique.

Performance des mises à jour (qui se produisent dans un volume une fois par jour) a considérablement empiré au fil du temps.

Utilisation de PostgreSQL 8.3.8.

Pouvez-vous me donner des conseils de l'endroit où chercher une solution? Il peut s'agir de modifier certains paramètres dans postgres ou même de passer à une autre base de données (je suppose qu'une base de données non relationnelle serait mieux adaptée à cette table particulière, mais je n'en ai pas beaucoup d'expérience).

Answer 1

Je voudrais jeter un oeil à la FILLFACTOR pour la table. Par défaut, il est réglé à 100, vous pouvez l'abaisser à 70 (pour commencer). Après cela, vous devez faire un VACUUM FULL pour reconstruire la table.

ALTER TABLE tablename SET (FILLFACTOR = 70); 
VACUUM FULL tablename; 
REINDEX TABLE tablename; 

Cela donne ACTUALISATION une chance de placer la copie mise à jour d'une ligne sur la même page que l'original, qui est plus efficace que de le placer sur une autre page. Ou si votre base de données est déjà quelque peu fragmentée par rapport à de nombreuses mises à jour précédentes, elle pourrait déjà être suffisamment éparse. Maintenant, votre base de données a également l'option de faire HOT updates, en supposant que la colonne que vous mettez à jour n'est pas un impliqué dans un index.

Answer 2

Vous ne savez pas si les tableaux sont la solution. Pourquoi ne pas les stocker dans une table séparée (une valeur plus les clés par ligne) alors la mise à jour en vrac sera une activité d'insertion pure.

Answer 3

Eh bien, un index à 3 colonnes n'a rien à craindre. Cela ne le rend pas nécessairement beaucoup plus lent. Mais cette colonne de tableau pourrait bien être le problème. Vous dites que vous ajoutez des valeurs à cette colonne-tableau quotidiennement. En ajoutant, voulez-vous dire ajouter des valeurs à tous les 20 mln. enregistrements dans le tableau? Ou juste quelques records?

La situation est pas tout à fait clair pour moi, mais je suggérerais à examiner les moyens de se débarrasser de cette colonne de tableau. Ce qui en fait une table séparée par exemple. Mais, cela dépend de votre situation et pourrait ne pas être une option. C'est peut-être juste moi, mais je me sens toujours "sale" ayant une telle colonne dans une de mes tables. Et la plupart du temps il y a une meilleure solution pour le problème que vous essayez de résoudre avec cette colonne de tableau. Cela étant dit, il y a certainement des situations dans lesquelles une telle colonne est valide, mais pour l'instant, je ne peux penser à aucune. Certainement pas dans une table avec un 20 mln. nombre d'enregistrements.

Answer 4

Le problème est dans les mises à jour. Changer le schéma de tableau en fonction de plusieurs lignes par jour, et le problème de performance va disparaître.

Vous pouvez ajouter des cumuls à des tableaux, plus tard, avec une sorte de cronjob, mais il faut éviter les mises à jour.