Un nouveau projet sur lequel nous travaillons nécessite beaucoup d'analyse de données mais nous trouvons que c'est TRÈS lent, nous cherchons des moyens de changer notre approche avec le logiciel et/ou le matériel.Massive DB et mysql
Nous courons actuellement sur une instance amazon EC2 (linux):
High-CPU Extra Large Instance
7 GB of memory
20 EC2 Compute Units (8 virtual cores with 2.5 EC2 Compute Units each)
1690 GB of instance storage
64-bit platform
I/O Performance: High
API name: c1.xlarge
processor : 7
vendor_id : GenuineIntel
cpu family : 6
model : 26
model name : Intel(R) Xeon(R) CPU E5506 @ 2.13GHz
stepping : 5
cpu MHz : 2133.408
cache size : 4096 KB
MemTotal: 7347752 kB
MemFree: 728860 kB
Buffers: 40196 kB
Cached: 2833572 kB
SwapCached: 0 kB
Active: 5693656 kB
Inactive: 456904 kB
SwapTotal: 0 kB
SwapFree: 0 kB
Une partie de la db est des articles et des entités et une table de lien par exemple:
mysql> DESCRIBE articles_entities;
+------------+--------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+------------+--------------+------+-----+---------+-------+
| id | char(36) | NO | PRI | NULL | |
| article_id | char(36) | NO | MUL | NULL | |
| entity_id | char(36) | NO | MUL | NULL | |
| created | datetime | YES | | NULL | |
| modified | datetime | YES | | NULL | |
| relevance | decimal(5,4) | YES | MUL | NULL | |
| analysers | text | YES | | NULL | |
| anchor | varchar(255) | NO | | NULL | |
+------------+--------------+------+-----+---------+-------+
8 rows in set (0.00 sec)
Comme vous pouvez voir du tableau ci-dessous nous avons beaucoup d'assoications croissance à un taux de 100 000+ par jour
mysql> SELECT count(*) FROM articles_entities;
+----------+
| count(*) |
+----------+
| 2829138 |
+----------+
1 row in set (0.00 sec)
Une simple requête comme celui ci-dessous prend trop de temps (12 secondes)
mysql> SELECT count(*) FROM articles_entities WHERE relevance <= .4 AND relevance > 0;
+----------+
| count(*) |
+----------+
| 357190 |
+----------+
1 row in set (11.95 sec)
Que devrions-nous envisager d'améliorer notre temps de consultation? Différents espaces de stockage DB Matériel différent.
Votre table est-elle indexée correctement? –
N'est-ce pas évident à partir de la décharge de table fourni? – Lizard
MyISAM ou InnoDB table, MyIsam est beaucoup plus rapide .. – B4NZ41