La lecture des données HTML de la base de données est lente? Besoin d'une meilleure approche?

Question

Nous avons une table dans mysql de 18GB qui a une colonne "html_view" qui stocke les données source HTML, que nous affichons sur la page, mais maintenant il prend trop de temps pour récupérer les données html de la colonne "html_view" le chargement de la page est lent.

Nous voulons une approche qui peut simplifier notre structure existante pour charger les données html plus rapidement depuis db ou de toute autre manière. Une idée que nous prévoyons est de stocker des données HTML dans des fichiers .txt et dans db nous allons simplement stocker le chemin du fichier txt et ira chercher les données de ce fichier particulier en lisant le fichier. Mais nous craignons qu'il ne fasse des opérations d'écriture de lecture étendues sur notre serveur et ralentisse alors le serveur.

Y a-t-il une meilleure approche pour rendre cette situation plus rapide?

Answer 1

Tout d'abord, pourquoi stocker du HTML dans une base de données? Pourquoi ne pas le rendre à la demande?

Pour les tables de texte volumineuses, vous pouvez stocker du texte compressé dans un tableau d'octets ou compressé et codé en base64 en texte brut.

Lorsque vous avez un tableau avec une colonne de texte volumineuse, combien d'autres colonnes contient la table? Si ce n'est pas trop, vous pouvez partitionner la table et créer un magasin de valeurs-clés à deux colonnes. Cela devrait être plus rapide et plus simple que de lire des fichiers à partir du disque.

Answer 2

Regardez le Apache Caching guide. Il explique la mise en cache du disque et de la mémoire - de mon point de vue si le contenu est statique (comme l'indique la table de données), vous devez utiliser les capacités Apaches au lieu d'écrire vos propres mécanismes plus lents.
La mesure habituelle au lieu de l'estimation s'applique quand même ;-).