2017-04-17 3 views
1

je ne suis pas en mesure de créer un nouveau fichier ou un répertoire, ni capable de lister les fichiers existants ou répertoireHadoop 2.6.2, mkdir: Impossible de créer fournisseur de proxy null

J'UTILISE ci-dessous commande pour effectuer l'opération, pourriez-vous s'il vous plaît suggérer

[email protected]:/usr/local/hadoop$ jps 
8546 ResourceManager 
9181 Jps 
1503 NameNode 
8674 NodeManager 
4398 DataNode 
[email protected]:/usr/local/hadoop$ bin/hadoop fs -ls/
ls: Couldn't create proxy provider null 
[email protected]:/usr/local/hadoop$ bin/hadoop fs -mkdir /books 
mkdir: Couldn't create proxy provider null 
[email protected]:/usr/local/hadoop$ 

ci-dessous est mon hdfs-site.xml, que je l'utilise.

<configuration> 
    <property> 
    <name>dfs.nameservices</name> 
    <value>mycluster</value> 
    </property> 

<property> 
<name>dfs.replicaion</name> 
<value>2</value> 
<description>to specifiy replication</description> 
</property> 

<property> 
<name>dfs.namenode.name.dir</name> 
<value>file:/h3iHA/name</value> 
<final>true</final> 
</property> 

<property> 
<name>dfs.datanode.data.dir</name> 
<value>file:/h3iHA/data2</value> 
<final>true</final> 
</property> 

<property> 
<name>dfs.ha.namenodes.mycluster</name> 
<value>nn1,nn2</value> 
</property> 

<property> 
<name>dfs.namenode.rpc-address.mycluster.nn1</name> 
<value>c:9000</value> 
</property> 

<property> 
<name>dfs.namenode.rpc-address.mycluster.nn2</name> 
<value>a:9000</value> 
</property> 

<property> 
<name>dfs.namenode.http-address.mycluster.nn1</name> 
<value>c:50070</value> 
</property> 

<property> 
<name>dfs.namenode.http-address.mycluster.nn2</name> 
<value>a:50070</value> 
</property> 

<property> 
<name>dfs.namenode.shared.edits.dir</name> 
<value>file:///mnt/filer</value> 
</property> 

<property> 
<name>dfs.client.failover.proxy.provider.mycluster</name> 
<value>org.apache.hadoop.hdfs.server.namenode.ha.configuredFailoverProxyProvider</value> 
</property> 

<property> 
<name>dfs.ha.fencing.methods</name> 
<value>sshfence</value> 
</property> 

<property> 
<name>dfs.ha.fencing.ssh.private-key-files</name> 
<value>/home/hduser/.ssh/id_rsa</value> 
</property> 

<property> 
<name>dfs.ha.fencing.methods</name> 
<value>sshfence 
     shell(/bin/true) 
</value> 
</property> 
</configuration> 

fichier de base, qui est la même pour les deux noeuds

<configuration> 
<property> 
<name>fs.defaultFS</name> 
<value>hdfs://mycluster</value> 
</property> 
</configuration> 
+0

Est-ce cluster HA? – franklinsijo

+0

Oui, c'est un cluster HA. – Maverick

+0

Pouvez-vous poster votre 'hdfs-site.xml' – franklinsijo

Répondre

1

Le nom de classe Java définie pour la propriété dfs.client.failover.proxy.provider.mycluster est incorrecte. Il est ConfiguredFailoverProxyProvider et non configuredFailoverProxyProvider.

Modifier la valeur de cette propriété dans hdfs-site.xml

<property> 
    <name>dfs.client.failover.proxy.provider.mycluster</name> 
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> 
</property> 
+0

merci franklinksijo .j'ai un doute (1) je dois reformater à mon nom de code ? (2) ou juste j'ai besoin de démarrer mon namenode depuis cette commande hduser @ c:/usr/local/hadoop $ bin/hadoop fs -ls/toujours jeter les erreurs ls: Appel d'un/192.168.0.105 à un: 9000 a échoué sur l'exception de connexion: java.net.ConnectException: connexion refusée; Pour plus de détails, voir: http://wiki.apache.org/hadoop/ConnectionRefused – Maverick

+0

Non, le format n'est pas requis. L'erreur de proxy est fixe. Ceci est différent, est 'a' votre namenode actif actuel? Qu'est-ce que vous avez défini pour 'fs.defaultFS'? – franklinsijo

+0

Le noeud c est actif et le noeud a est en attente. et mon fichier de base est le même pour les deux noeuds, mis à jour maintenant, vous pouvez consulter hduser @ c:/usr/local/hadoop $ bin/hadoop fs -ls/ hduser @ c:/usr/local/hadoop $ bin/hadoop fs -lsr/ lsr: DEPRECATED: Veuillez utiliser 'ls -R' à la place. hduser @ c:/usr/JPS local $/Hadoop 1703 ResourceManager 1832 NodeManager 2729 Jps 1535 NameNode 2570 DataNode hduser @ a:/usr/local/bin Hadoop $/Hadoop fs -ls/ hduser @ a:/usr/local/hadoop $ ls/ – Maverick