Accélération de l'inférence des modèles Keras

Question

J'ai un modèle Keras qui fait des inférences sur un Raspberry Pi (avec un appareil photo). Le Raspberry Pi a un processeur très lent (1,2 GHz) et pas de GPU CUDA donc l'étape model.predict() prend beaucoup de temps (~ 20 secondes). Je cherche des façons de réduire cela autant que possible. J'ai essayé:

• Overclocker le CPU (+ 200 MhZ) et obtenu quelques secondes supplémentaires de performance.
• Utilisation de float16 au lieu de float32.
• Réduire autant que possible la taille d'entrée de l'image.

Y at-il autre chose que je peux faire pour augmenter la vitesse pendant l'inférence? Y at-il un moyen de simplifier un model.h5 et de prendre une baisse de précision? J'ai eu du succès avec des modèles plus simples, mais pour ce projet, je dois me fier à un modèle existant, donc je ne peux pas me former à partir de zéro.

Answer 1

L'architecture VGG16/VGG19 est très lente car elle a beaucoup de paramètres. Vérifiez this answer.

Avant toute autre optimisation, essayez d'utiliser une architecture réseau plus simple.

Google's MobileNet semble être un bon candidat puisqu'il s'agit de implemented on Keras et il a été conçu pour des dispositifs plus limités.

Si vous ne pouvez pas utiliser un réseau différent, vous pouvez compresser le réseau avec l'élagage. This blog poster spécifiquement faire l'élagage avec Keras.