Les données ne s'affichent pas par intermittence sur l'interface utilisateur OpenTSDB

Question

Nous effectuons des tests de haut volume en déplaçant des métriques vers OpenTSDB (2.3.0) avec BigTable, et un problème curieux apparaît de temps en temps. Pour certaines métriques, une heure de données cesse d'apparaître sur l'interface Web lorsque nous exécutons une requête. La plage de données "manquantes" est très claire et se situe à la limite de l'heure (UTC). Après un certain temps, tout en réexécutant la même requête, les données s'affichent. Il ne semble pas y avoir de modèle que nous puissions déduire ici, autre que la durée de l'heure. Des indications sur ce qu'il faut rechercher et déboguer?

Answer 1

Combien de temps faut-il attendre avant que les données n'apparaissent? Est-ce toujours l'heure la plus récente qui manque?

Avez-vous essayé d'utiliser OpenTSDB CLI lorsque cela se produit et d'effectuer une analyse pour voir si les données sont disponibles de cette façon?

http://opentsdb.net/docs/build/html/user_guide/cli/scan.html

Vous pouvez également vérifier par une analyse shell HBase pour voir si vous pouvez obtenir les données brutes de cette façon (est ici des informations sur la façon dont elle est stockée dans HBase):

http://opentsdb.net/docs/build/html/user_guide/backends/hbase.html

Si vous pouvez vérifier que les données sont là alors il semble que ce soit un problème d'interface web. Sinon, le prochain coupable est quelque chose qui est sauvegardé dans le pipeline d'écriture. Je ne suis pas au courant d'un problème particulier dans la couche arrière de Google Cloud Bigtable qui provoquerait ce comportement, mais je crois que certaines personnes ont rencontré des problèmes avec les compactions OpenTSDB pendant les périodes de forte charge qui entraînent des performances dégradées.

Il est utile de vérifier dans la console Google Cloud pour voir s'il existe des valeurs aberrantes dans les graphiques de latence, de CPU ou de débit qui correspondent aux heures au cours desquelles vous rencontrez le problème.