Existe-t-il un moyen de limiter la quantité de mémoire utilisée par "git gc"?

Question

J'héberge un repo git sur un hôte partagé. Mon repo contient forcément deux très gros fichiers, et chaque fois que j'essaie d'exécuter "git gc" sur le repo maintenant, mon processus est tué par le fournisseur d'hébergement partagé pour avoir utilisé trop de mémoire. Existe-t-il un moyen de limiter la quantité de mémoire que git gc peut consommer? Mon espoir serait qu'il puisse échanger l'utilisation de mémoire pour la vitesse et juste prendre un peu plus de temps pour faire son travail.

Answer 1

Oui, un coup d'oeil à la page d'aide pour git config et regarder les pack.* d'options, en particulier pack.depth, pack.window, pack.windowMemory et pack.deltaCacheSize. Ce n'est pas une taille totalement exacte car git doit mapper chaque objet en mémoire afin qu'un objet très volumineux puisse causer beaucoup d'utilisation de la mémoire, quels que soient les paramètres de la fenêtre et du cache delta. Vous aurez peut-être plus de chance d'emballer vos fichiers localement et de transférer manuellement les fichiers du pack vers le côté distant, en ajoutant un fichier .keep pour que le git distant n'essaye jamais de tout remballer complètement.

Answer 2

Vous pouvez utiliser désactiver l'attribut delta pour désactiver la compression delta uniquement pour les blobs de ces chemins:

En foo/.git/info/attributes (ou foo.git/info/attributes si elle est un dépôt nu) (voir l'entrée delta dans gitattributes et voir gitignore pour la syntaxe du modèle):

/large_file_dir/* -delta 
*.psd -delta 
/data/*.iso -delta 
/some/big/file -delta 
another/file/that/is/large -delta 

Cela n'affectera pas les clones du référentiel. Pour affecter d'autres référentiels (c'est-à-dire des clones), placez les attributs dans un fichier .gitattributes au lieu de (ou en plus du) fichier info/attributes.

Answer 3

J'ai utilisé les instructions de ce link. Même idée que Charles Baileys suggéré.

Une copie des commandes est ici:

git config --global pack.windowMemory "100m" 
git config --global pack.packSizeLimit "100m" 
git config --global pack.threads "1" 

Cela a fonctionné pour moi Hostgator avec compte d'hébergement mutualisé.

Answer 4

L'utilisation de la mémoire Git Repack est: (pack.deltaCacheSize + pack.windowMemory) × pack.threads. Les valeurs par défaut sont 256 Mo, illimité, nproc. Le cache delta n'est pas utile: la plupart du temps, les deltas informatiques sont dépensés sur une fenêtre glissante, dont la majorité est rejetée; mettre en cache les survivants afin qu'ils puissent être réutilisés une fois (lors de l'écriture) n'améliorera pas le temps d'exécution. Ce cache n'est également pas partagé entre les threads.

Par défaut, la mémoire de la fenêtre est limitée à pack.window (gc.aggressiveWindow). Limiter l'emballage de cette façon est une mauvaise idée, car la taille et l'efficacité de l'ensemble de travail varient considérablement. Il est préférable d'augmenter les deux à des valeurs beaucoup plus élevées et de compter sur pack.windowMemory pour limiter la taille de la fenêtre.

Enfin, le filetage présente l'inconvénient de fendre l'ensemble de travail. Abaisser pack.threads et augmenter pack.windowMemory de sorte que le total reste le même devrait améliorer le temps d'exécution.

Le repack possède d'autres paramètres ajustables (pack.depth, pack.compression, les options bitmap), mais n'affecte pas l'utilisation de la mémoire.