Chargement MLCP DeadLock - MarkLogic 8

Question

J'utilise MarkLogic 8 sur 2 serveurs RHEL6 en cluster. Je suis confronté à des erreurs DEADLOCK (Notice) lors du chargement des données en utilisant mlcp. Détails:

données: 500+ fichiers CSV

File name Examples: 
File1: 20170927_**ABC**_XX_YY.CSV 
File2: 20170927_**DEF**_QX_QY.CSV 
File3: 20170927_**DE**_QX_QY.CSV 

Exigence: je dois charger ces documents tout en attribuant chaque CSV à une collection pendant la charge. Donc, File1 devrait appartenir à ABC Collection, File2 devrait appartenir à la collection DEF et File3 devrait appartenir à la collection DE.

Script: J'ai essayé d'y parvenir en chargeant chaque CSV individuellement en utilisant mlcp.

#!/bin/sh 
listFiles=`ls -l /location/*.CSV | awk '{print $9}'` 
for each in $listFiles 
do 
    collName=`echo $each | cut -d_ -f2` 
    $MLCP_HOME/mlcp.sh import -mode local -options_file connect.txt \ 
    -input_file_path $each -input_file_type delimited_text \ 
    -generate_uri -output_collections $collName 
done 

Problème: Certains fichiers ont obtenu chargés dans MarkLogic sans aucune erreur. Cependant, je vois des messages DEADLOCK de niveau 'Notice' dans les journaux et le chargement est bloqué. Je comprends que DEADLOCK se produit lorsque deux requêtes ou plus (mises à jour) tentent de verrouiller un URI qui contient déjà un verrou d'écriture.

1. J'espérais que tout nombre de threads de charge PCML rédigera des données dans un URI à la fois. Comment est-ce qu'un DEADLOCK est possible?
2. Pourquoi est-ce appelé un DEADLOCK lorsqu'une requête est en attente pour l'autre requête terminée. Ne fait-il pas juste la queue?

Je vois que le code suivant a été donné comme exemple de blocage dans les documents marklogic. Je ne comprends pas pourquoi est-ce une impasse. Une commande attend que l'autre soit terminée.

(: the next line ensures this runs as an update statement :) 
if (1 = 2) then (xdmp:document-insert("foobar", <a/>)) else(), 
doc("/docs/test.xml"), 
xdmp:eval("xdmp:node-replace(doc('/docs/test.xml')/a, <b>goodbye</b>)", 
     (), 
      <options xmlns="xdmp:eval"> 
      <isolation>different-transaction</isolation> 
      </options>) , 
doc("/docs/test.xml") 

Answer 1

Je ne vois pas vraiment pourquoi vous avez des blocages. Je soupçonnerais toujours que quelque chose en dehors du MLCP génère ce message. Pourrait-il y avoir un calendrier ou juste un processus entièrement séparé causant les messages?

Je peux essayer d'expliquer un peu plus les blocages par rapport à MLCP.

Les blocages se produisent normalement lorsque vous touchez un fichier en mode de mise à jour, puis générez, invoquez ou évaluez le code qui touche le même fichier. La requête qui génère, invoque ou évalue n'est pas encore terminée, de sorte que le verrou de lecture ou d'écriture automatique n'est pas encore libéré. Le sous-processus voit le verrou et est forcé d'attendre jusqu'à ce qu'il soit libéré. Le processus parent attendra le sous-processus pour terminer, d'où le blocage.

Il devient un peu plus complexe avec MLCP, puisque MLCP va ouvrir des transactions de longue durée, et émettra plusieurs appels participant à la même transaction. Ces verrous automatiques ne seront pas libérés jusqu'à ce que toute la transaction de longue durée soit libérée. Donc, si MLCP essaie d'insérer deux fois le même fichier dans la même transaction, ce sera un problème.

Il pourrait y avoir un moyen de vérifier si c'est vraiment le MLCP qui cause le problème. Il existe quelques arguments de ligne de commande qui contrôlent le nombre de threads utilisés et le nombre de requêtes incluses dans une transaction.Essayez d'utiliser:

-transaction_size 1 -batch_size 1 

De plus, si vous voulez vraiment traiter vos fichiers de manière séquentielle, ajoutez en plus:

-thread_count 1 

Vous pouvez exécuter PCML avec juste la commande import (et pas d'autres arguments) pour obtenir un résumé de toutes les options de la ligne de commande.

HTH!