2017-10-02 4 views
0

J'ai un travail Web déclenché à la demande que je souhaite déclencher via l'activité de copie ADF à l'aide du service lié HTTP. Voici le service lié: -Appel de Webjob à partir du pipeline Azure Data Factory affichant l'erreur d'exception de conflit HTTP 409

{ 
    "name": "LS_WebJob", 
    "properties": { 
     "hubName": "yas-cdp-adf_hub", 
     "type": "Http", 
     "typeProperties": { 
      "url": "https://cust-app.scm.azurewebsites.net/api/triggeredwebjobs/ConsoleApplication1/run", 
      "authenticationType": "Basic", 
      "username": "$custdata-app", 
      "password": "**********" 
     } 
    } 
} 

Entrée Dataset

{ 
    "name": "ZZ_Inp_Webjob", 
    "properties": { 
     "published": false, 
     "type": "Http", 
     "linkedServiceName": "LS_WebJob", 
     "typeProperties": { 
      "requestMethod": "Post", 
      "requestBody": "Hey Buddy" 
     }, 
     "availability": { 
      "frequency": "Day", 
      "interval": 1, 
      "style": "StartOfInterval" 
     }, 
     "external": true, 
     "policy": {} 
    } 
} 

sortie Dataset

{ 
    "name": "ZZ_Out_WebJob", 
    "properties": { 
     "published": false, 
     "type": "AzureBlob", 
     "linkedServiceName": "LS_ABLB", 
     "typeProperties": { 
      "fileName": "webjob.json", 
      "folderPath": "yc-cdp-container/Dummy/temp", 
      "format": { 
       "type": "TextFormat" 
      } 
     }, 
     "availability": { 
      "frequency": "Day", 
      "interval": 1, 
      "style": "StartOfInterval" 
     } 
    } 
} 

Pipeline

{ 
"name": "ZZ-PL-WebJob", 
"properties": { 
    "description": "This pipeline copies data from an HTTP Marina WiFi Source URL to Azure blob", 
    "activities": [ 
     { 
      "type": "Copy", 
      "typeProperties": { 
       "source": { 
        "type": "HttpSource" 
       }, 
       "sink": { 
        "type": "BlobSink", 
        "writeBatchSize": 0, 
        "writeBatchTimeout": "00:00:00" 
       } 
      }, 
      "inputs": [ 
       { 
        "name": "ZZ_Inp_Webjob" 
       } 
      ], 
      "outputs": [ 
       { 
        "name": "ZZ_Out_Webjob" 
       } 
      ], 
      "policy": { 
       "timeout": "01:00:00", 
       "concurrency": 1 
      }, 
      "scheduler": { 
       "frequency": "Day", 
       "interval": 1, 
       "style": "StartOfInterval" 
      }, 
      "name": "WebjobSourceToAzureBlob", 
      "description": "Copy from an HTTP source to an Azure blob" 
     } 
    ], 
    "start": "2017-04-10T01:00:00Z", 
    "end": "2017-04-10T01:00:00Z", 
    "isPaused": false, 
    "hubName": "yas-cdp-adf_hub", 
    "pipelineMode": "Scheduled" 
} 
} 

Mon webjob est une simple application C#: -Lorsque j'exécute le pipeline, le travail Web est déclenché avec succès. Cependant, le pipeline échoue avec une erreur de conflit HTTP 409.

Copy activity encountered a user error at Source side: ErrorCode=UserErrorFailedToReadHttpFile,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=Failed to read data from http source file.,Source=Microsoft.DataTransfer.ClientLibrary,''Type=System.Net.WebException,Message=The remote server returned an error: (409) Conflict.,Source=System,'.

+0

Avez-vous aussi 409 si vous appelez manuellement les WebJobs? Si non, essayez d'identifier les différences entre les deux invocations –

+0

Merci pour la réponse @ David .. comme je l'ai mentionné, webjob est déclenché avec succès soit manuellement soit via ADF. – Ritesh

+0

Assez confus ici que votre titre implique que le WebJob échoue avec un 409. Êtes-vous en train de dire que l'appel http à la WebJob est en fait pas tout à fait défaillant, mais que seul ADF échoue? Si oui, la question n'est probablement pas liée à WebJobs. Essayez d'isoler. –

Répondre