La machine virtuelle augmente l'espace disque et atteint le problème d'espace disque

Question

J'ai installé Apache Amabari sur trois systèmes de cluster VM avant il y a 1 mois et j'ai utilisé 47 Go sur 183 Go mais maintenant il augmente de 1 à 2 Go par jour non installé toute autre chose. Pourriez-vous m'indiquer comment puis-je supprimer ou libérer de l'espace sur ma VM?

Filesystem   Size Used Avail Use% Mounted on 
/dev/mapper/VolGroup-lv_root 
         490G 22G 444G 5%/
tmpfs     3.9G 8.0K 3.9G 1% /dev/shm 
/dev/sda1    477M 48M 404M 11% /boot 
vagrant    183G 181G 2.3G 99% /vagrant 

VM 1 take 49 GB Space Used 
VM 2 take 29 GB Space Used 
VM 3 take 79 GB Space Used 

VM 3 racine fichier Niveau Détails Espace

dr-xr-xr-x. 2 root root   4096 May 12 08:05 bin 
dr-xr-xr-x. 5 root root   1024 Apr 27 2013 boot 
drwxr-xr-x 3 root root   4096 May 12 08:40 cgroups_test 
drwxr-xr-x 18 root root   3680 Jun 14 10:37 dev 
drwxr-xr-x. 102 root root   4096 Jun 14 10:37 etc 
drwxr-xr-x 5 root root   4096 May 12 10:11 hadoop 
drwxr-xr-x. 19 root root   4096 May 22 08:39 home 
dr-xr-xr-x. 9 root root   4096 May 12 08:05 lib 
dr-xr-xr-x. 10 root root   12288 May 12 08:05 lib64 
drwx------. 2 root root   16384 Apr 27 2013 lost+found 
drwxr-xr-x. 3 root root   4096 Apr 27 2013 media 
drwxr-xr-x. 2 root root   4096 Sep 23 2011 mnt 
drwxr-xr-x. 4 root root   4096 Apr 27 2013 opt 
dr-xr-xr-x 111 root root    0 Jun 14 10:37 proc 
dr-xr-x---. 5 root root   4096 Jun 13 13:28 root 
dr-xr-xr-x. 2 root root   12288 May 12 08:05 sbin 
drwxr-xr-x. 2 root root   4096 Apr 27 2013 selinux 
drwxr-xr-x. 2 root root   4096 Sep 23 2011 srv 
-rw-r--r-- 1 root root 3221225472 Jun 14 10:38 swapfile 
drwxr-xr-x 13 root root    0 Jun 14 10:37 sys 
drwxrwxrwt. 42 root root   4096 Jun 16 06:53 tmp 
drwxr-xr-x. 15 root root   4096 May 12 08:04 usr 
drwxr-xr-x 1 vagrant vagrant  4096 May 12 05:44 vagrant 
drwxr-xr-x. 19 root root   4096 May 17 07:48 var 
[root@c6403 /]# pwd 
/

S'il vous plaît me guider là où je fais mal ou s'il vous plaît me dire comment puis-je increse espace libre de ma machine virtuelle.

Answer 1

La première chose à dire est que Ambari Vagrant environnement est pas destiné pour un usage de production. Cette configuration doit être utilisée pour l'étude et/ou les tests. L'exécution du cluster Hadoop sur des machines virtuelles sur un seul hôte physique impose des inconvénients majeurs en termes de performances et de fiabilité (par exemple, un basculement/une réplication de données implicitement interrompu). Pour des détails, voir this question

Pour l'utilisation en production, vous devez installer Ambari directement sur une machine physique ou provisionner 1-2 machines virtuelles pour chaque hôte physique de votre cluster.

Si vous souhaitez utiliser des machines virtuelles et résoudre des problèmes de dépannage, essayez d'installer l'utilitaire ncdu sur votre machine virtuelle.

La sortie ncdu typique ressemble à:

ncdu 1.7 ~ Use the arrow keys to navigate, press ? for help               
--- /data ---------------------------------------------------------------------------------------------------------- 
    163.3GiB [##########] /docimages                     
    84.4GiB [#####  ] /data 
    82.0GiB [#####  ] /sldata 
    56.2GiB [###  ] /prt 
    40.1GiB [##  ] /slisam 
    30.8GiB [#   ] /isam 
    18.3GiB [#   ] /mail 
    10.2GiB [   ] /export 
    3.9GiB [   ] /edi 
    1.7GiB [   ] /io  
    1.2GiB [   ] /dmt 
    896.7MiB [   ] /src 
    821.5MiB [   ] /upload 
    691.1MiB [   ] /client 
    686.8MiB [   ] /cocoon 
    542.5MiB [   ] /hist 
    358.1MiB [   ] /savsrc 
    228.9MiB [   ] /help 
    108.1MiB [   ] /savbin 
    101.2MiB [   ] /dm 
    40.7MiB [   ] /download 

sortie similaire (mais sans tri), peut être réalisé par runing cette commande:

du -sh /* 

De cette façon, vous pouvez voir ce qui se passe le plus espace dans votre machine virtuelle. La plus grande partie de l'espace est probablement occupée par les journaux au /var/log/. En outre, explorez le répertoire /usr/hdp en utilisant ncdu, car beaucoup de fichiers de la pile HDP sont stockés ici