12

gitを使ってウェブサービス運用を続けていたら年月を重ねたせいかGitリポジトリが肥大化して数ギガバイトを超えるほどに成長しました。 リポジトリの内訳としてはプログラム、画像等のリソース、テキストの設定ファイル等です。 尚、コミット数は数万以上あり、ブランチも多くあるとします。

この大きくなってしまったリポジトリを毎回Cloneするのはとても時間がかかるのでどうにかしたいと考えます。

条件としては

  • なるべく過去の歴史を捨てずに保持したい
  • 画像リソースは外部に移動してもよい

といった場合にどのようにアプローチを行えば素早く、軽いリポジトリにできるのでしょうか?

2
  • git clone --depth 1のように最新のコミットだけ取得すると「毎回Cloneするのはとても時間がかかる」問題には対処できるかもしれませんが、そういった方策は使えないケースと考えるべきでしょうか。
    – 3100
    Commented 2014年12月25日 6:07
  • --depthオプションは浅いコピーを作るだけですのでHEADのコミットから参照されるツリーの数やobjectの数が多ければやはり時間がかかってしまい、今回のケースとしてはあまり効果がでないようです。
    – chobie
    Commented 2014年12月25日 6:22

3 件の回答 3

7

git gc を実行すると過去のコミットが圧縮され、容量を減らすことが出来ます。 gc.autogc.autopacklimit を設定しておく事で定期的に実行しなくても自動で実行してくれる様になります。 過去に入れてしまったファイルは履歴として消せませんので、普段から「これは大きい」と思ったファイルは git-media 等を使って外部リソースに逃がし sync する方針を取られるのが良いと思います。

1
  • 自分の理解だとgit gcはコミットツリーから辿ってdelta圧縮をしているのですが、歴史を積み重ねたリポジトリに対しての効果はそこまでないように感じます(commitのコンテキストにもよるのですがあんまりdelta圧縮効かないリポジトリとかもありまして) 例えば毎営業日に100 commitがmergeされるような環境だと仮定した場合、年間で2万4千のcommitが入ってしまうので、そうなるともはやgitの使い方を根本的に変えるか歴史を書き換えるかしないと無駄にcloneに時間かかるしつらい、ということもありどうしたもんかなー、と。 運用途中からgit-mediaを使う、とかでもありだと思うのですが、それでclone時に楽になるかどうか、というのはそういえば試してなかったので今度見てみようと思います。
    – chobie
    Commented 2014年12月26日 18:16
6

mattnさんが git gc についてはもう既に書いてますが、--aggressive オプションをつける、または

git repack -a -d --depth=250 --window=250

など試されましたか?

結局やっていることは、--aggressiveは計算済みdeltaの再選択、repackは普通以上の深度でのdelta再計算で、必ずしも減る訳ではないらしいですが、普段は緩く比べ、出来るだけdeltaを再利用してるので、効果があるかもしれません。ちなみに二つ目のはLinusがgccのメーリングリストで言ってたやつで、overnightとか言ってるのでかなり時間がかかると思われますが、--aggressiveと違いちゃんと計算し直すのでやるならこっちだとか。-fオプションを足すと、古いdeltaを再利用しないようにも出来るのでこれもつけた方がいいらしいです。

3

外に置いても良いと言うことなので、filter-branchで外に置いておく物をリポジトリから完全に削除するのはどうでしょう。しかし、コミットIDは変化してしまうため全員がcloneし直す必要があります。 使い方はこちらが参考になるでしょう

もしくはサブモジュール化していくつかのリポジトリに分けて管理してしまう手もあります(いまから分けるのは大変かも知れませんが)。

1
  • はい、filter-branchで対応するのが基本的には良いとは思います。 ただ、数万のコミットがあってブランチもある、となると現実的な時間内にfilter-branchが終わるかどうかという問題(filter-branchって実装上毎コミットをチェックアウトして書き戻すのでツリーがでかいとすごい時間がかかるんです)というのがありまして、なんともなー、と。 そういうの考えるとgitでサービス運用するのムリじゃない?という所に私は思ってしまうのですがそれも負けた気がするのでなんとかならないかなーと方法を模索しています。
    – chobie
    Commented 2014年12月26日 18:22

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。