Comment définir les vcores pour le travail Sqoop

Question

Comment sqoop acquiert vcores pour l'exécution. Je soumets un travail sqoop avec 4 mappeurs et l'application démarre avec 1 vcore même quand il y a environ 50 vcores disponibles. Donc, il n'y a pas de parellisation. C'est un travail d'importation de Sqoop dans un fichier texte. Ce sont les paramètres de configuration dans le fil en ce qui concerne l'allocation de vcrore. Comment un travail sqoop acquiert-il des vcores pour l'exécution?

<property> 
<name>yarn.scheduler.maximum-allocation-vcores</name> 
<value>4</value> 
<source>yarn-site.xml</source> 
</property> 

<property> 
<name>yarn.app.mapreduce.am.resource.cpu-vcores</name> 
<value>1</value> 
<source>mapred-default.xml</source> 
</property> 

<property> 
<name>mapreduce.reduce.cpu.vcores</name> 
<value>1</value> 
<source>mapred-default.xml</source> 
</property> 

<property> 
<name>yarn.nodemanager.resource.cpu-vcores</name> 
<value>8</value> 
<source>yarn-default.xml</source> 
</property> 

<property> 
<name>mapreduce.map.cpu.vcores</name> 
<value>1</value> 
<source>mapred-default.xml</source> 
</property> 

<property> 
<name>yarn.scheduler.minimum-allocation-vcores</name> 
<value>1</value> 
<source>yarn-site.xml</source> 
</property> 

<property> 
<name>yarn.scheduler.increment-allocation-vcores</name> 
<value>1</value> 
<source>yarn-site.xml</source> 
</property> 

Answer 1

De https://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_controlling_parallelism

importations Sqoop données en parallèle de la plupart des sources de base de données. Vous pouvez spécifier le nombre de tâches de carte (processus parallèles) à utiliser pour effectuer l'importation en utilisant l'argument -m ou --num-mappers.

Les tâches de carte sont les mêmes que celles des vcores.