Optimisation de script ksh

Question

J'ai un petit script qui lit simplement chaque ligne d'un fichier, récupère le champ id, lance l'utilitaire pour obtenir le nom et ajoute le nom à la fin. Le problème est le fichier d'entrée est énorme (2 Go). Comme la sortie est la même que l'entrée avec un nom de char 10-30 ajouté, il est du même ordre de grandeur. Comment puis-je l'optimiser pour lire des tampons volumineux, traiter dans des tampons, puis écrire des tampons dans le fichier afin de minimiser le nombre d'accès aux fichiers?

#!/bin/ksh 
while read line 
do 
    id=`echo ${line}|cut -d',' -f 3` 

    NAME=$(id2name ${id} | cut -d':' -f 4) 

    if [[ $? -ne 0 ]]; then 
     NAME="ERROR" 
     echo "Error getting name from id2name for id: ${id}" 
    fi 

    echo "${line},\"${NAME}\"" >> ${MYFILE} 
done < ${MYFILE}.csv 

Merci

Answer 1

Vous pouvez accélérer les choses considérablement en éliminant les deux appels à cut à chaque itération de la boucle. Il peut également être plus rapide de déplacer la redirection vers votre fichier de sortie à la fin de la boucle. Puisque vous ne vous présentez pas un exemple d'une ligne d'entrée, ou ce id2name comprend (il est possible que c'est un goulot d'étranglement) ou ce que sa production ressemble, je ne peux offrir cette approximation:

#!/bin/ksh 
while IFS=, read -r field1 field2 id remainder # use appropriate var names 
do 
    line=$field1,$field2,$id,$remainder 
    # warning - reused variables 
    IFS=: read -r field1 field2 field3 NAME remainder <<< $(id2name "$id") 
    if [[ $? -ne 0 ]]; then 
     NAME="ERROR" 
     # if you want this message to go to stderr instead of being included in the output file include the >&2 as I've done here 
     echo "Error getting name from id2name for id: ${id}" >&2 
    fi 
    echo "${line},\"${NAME}\"" 
done < "${MYFILE}.csv" > "${MYFILE}" 

Le système d'exploitation fera le tampon pour vous.

Edit:

Si votre version de ksh n'a pas <<<, essayez ceci:

id2name "$id" | IFS=: read -r field1 field2 field3 NAME remainder 

(. Si vous utilisez Bash, cela ne fonctionnerait pas)