Comment puis-je obtenir un modèle large et profond tf.contrib.learn enregistré et servi sur un service tensorflow?

Question

Je souhaite utiliser la méthode d'exportation d'un modèle de type tf.contrib.learn.DNNLinearCombinedClassifier pour enregistrer un modèle, puis écrire le client tensorflow servant à demander des prédictions sur le modèle.

Quelqu'un peut-il expliquer:

1. Comment créer les paramètres pour BaseEstimator.export à partir du résultat de la input_fn dans le tutoriel ou toute autre partie d'un estimateur pré-formation? Comment créer le request=predict_pb2.PredictRequest() pour envoyer à une instance de serveur tensorflow?

Answer 1

Ici, j'ai écrit un tutoriel simple Exporting and Serving a TensorFlow Wide & Deep Model.

Pour exporter un estimateur il y a quatre étapes:

1. pour définir les caractéristiques d'exportation comme une liste de toutes les fonctions utilisées lors de l'initialisation de l'estimateur.

2. Créez une configuration de fonctionnalité en utilisant create_feature_spec_for_parsing.

3. Construire un serving_input_fn pouvant être utilisé pour servir avec input_fn_utils.build_parsing_serving_input_fn.

4. Exportez le modèle à l'aide de export_savedmodel().

Pour exécuter un script client correctement, vous devez faire trois étapes suivantes:

1. Créer et placer quelque part votre script dans le répertoire/service/dossier, par exemple/serving/tensorflow_serving/example/

2. Créez ou modifiez le fichier BUILD correspondant en ajoutant un py_binary.

3. Créez et exécutez un serveur de modèle, par ex. tensorflow_model_server.

4. Créer, générer et exécuter un client qui envoie un tf.Exemple à notre tensorflow_model_server pour l'inférence.

Si votre modèle est exporté à l'aide Estimator.export_savedmodel() et vous avez construit avec succès tensorflow lui-même au service, voici quelque chose que vous pouvez faire:

from grpc.beta import implementations 
from tensorflow_serving.apis import predict_pb2 
from tensorflow_serving.apis import prediction_service_pb2 

tf.app.flags.DEFINE_string('server', 'localhost:9000', 'Server host:port.') 
tf.app.flags.DEFINE_string('model', 'wide_and_deep', 'Model name.') 
FLAGS = tf.app.flags.FLAGS 
... 
def main(_): 

    host, port = FLAGS.server.split(':') 
    # Set up a connection to the TF Model Server 
    channel = implementations.insecure_channel(host, int(port)) 
    stub = prediction_service_pb2.beta_create_PredictionService_stub(channel) 

    # Create a request that will be sent for an inference 
    request = predict_pb2.PredictRequest() 
    request.model_spec.name = FLAGS.model 
    request.model_spec.signature_name = 'serving_default' 

    # A single tf.Example that will get serialized and turned into a TensorProto 
    feature_dict = {'age': _float_feature(value=25), 
        'capital_gain': _float_feature(value=0), 
        'capital_loss': _float_feature(value=0), 
        'education': _bytes_feature(value='11th'.encode()), 
        'education_num': _float_feature(value=7), 
        'gender': _bytes_feature(value='Male'.encode()), 
        'hours_per_week': _float_feature(value=40), 
        'native_country': _bytes_feature(value='United-States'.encode()), 
        'occupation': _bytes_feature(value='Machine-op-inspct'.encode()), 
        'relationship': _bytes_feature(value='Own-child'.encode()), 
        'workclass': _bytes_feature(value='Private'.encode())} 
    label = 0 

    example = tf.train.Example(features=tf.train.Features(feature=feature_dict)) 
    serialized = example.SerializeToString() 

    request.inputs['inputs'].CopyFrom(
    tf.contrib.util.make_tensor_proto(serialized, shape=[1])) 

    # Create a future result, and set 5 seconds timeout 
    result_future = stub.Predict.future(request, 5.0) 
    prediction = result_future.result().outputs['scores'] 

    print('True label: ' + str(label)) 
    print('Prediction: ' + str(np.argmax(prediction))) 

Pour plus de détails consulter le guide pédagogique lui-même.

Espérons que ça aide.

P.S. Il existe au moins 4 autres doublons pour ce type de question.Si quelqu'un avec rep élevé pourrait fermer ou de les regrouper, ce serait bien)

Answer 2

Je suis comme vous donnez lien refrence comme: https://github.com/MtDersvan/tf_playground/blob/master/wide_and_deep_tutorial/wide_and_deep_basic_serving.md

Si vous définissez la signature? serving_default Je pense que lorsque vous exportez votre modèle, il est nécessaire.Mais pas mentionné dans votre code d'exportation. S'il vous plaît le définir.