Git对二进制文件处理效率不高（Git默认会压缩并存储二进制文件的所有完整版本，如果二进制文件很多，这种做法显然不是最优），所以github限制文件大小在100M内（git lab限制文件大小是10m），对于项目里有大文件有两种处理方式：
-
可以放在gitignore文件里，不上传git。不过如果在本地commit过大文件，那push之前必须删掉这些commit记录（非常坑爹！），这个操作要借助到工具bfg（后文详细介绍），不过更推荐下面的方法。
-
利用git lfs这个扩展来托管大文件（github和git lab都支持）。Git LFS（large file storage）是git的一个扩展, 其处理大型二进制文件的方式是用“文本指针”替换它们。这些文本指针实际上是包含二进制文件信息的文本文件。文本指针存储在Git中，而大文件本身通过HTTPS托管在Git LFS服务器上。
下面具体介绍这两种方法和这两款工具。
BFG
简介：在git中如果一个用户提交了一个较大的文件，比如一个 JAR，则随后的每次克隆都会包含这个文件。即使用户最终在后面的某次提交中删除了这个文件，但是这个文件仍然存在于这个仓库的历史记录中。要想完全的从你的仓库中删除这个文件，你必须：
- 从你的项目的当前的文件树中删除该文件;
- 从仓库的历史记录中删除文件——重写 Git 历史记录，从包含该文件的所有的提交中删除这个文件;
- 删除指向旧的提交历史记录的所有 reflog 历史记录;
- 重新整理仓库，使用 git gc 对现在没有使用的数据进行垃圾回收。
git filter-branch可以做到这一点，它是核心 Git 套件的一部分,功能强大但是配置麻烦，而且用于大于仓库时速度非常慢，所以有人开发了BFG repo cleaner。BFG相对git filter-branch来说，快速、简单且易于使用，不过需要 Java 6 或者更高版本的运行环境。
具体提操作步骤如下：
下载BFG：https://rtyley.github.io/bfg-repo-cleaner/
查找需要处理的大文件
git rev-list --objects --all | grep "$(git verify-pack -v .git/objects/pack/*.idx | sort -k 3 -n | awk '{size=$3; if (size>10*1024*1024) { print $1;}}')" | awk '{print $2}' | sort | uniq
(例) 返回结果
TopLife/sources/BITracker/EXAMPLE.ZIP
利用下载下来的bfg.jar删除文件
java -jar bfg.jar --delete-files EXAMPLE.ZIP
清理无用object
git reflog expire --expire=now --all && git gc --prune=now --aggressive
这样就可以push了，不过git.jd.com支持lfs上传大文件，所以更推荐下面一种做法（也要借助BFG）。
LFS
简介：大文件存储功能，Git Large File Storage (LFS)，可用于处理项目中的大文件，在git中只会记录对此大文件的引用，不会将其加入.git文件夹中，使得项目体积不会猛增，checkout和add时速度更快。LFS合适用于psd，视频等。
与LFS同步时使用特殊命令git lfs fetch 分支名。在git lfs install之后，使用以下格式的命令git lfs track "*.iso"来追踪大文件，此命令会将相关信息存入.gitattributes文件中。之后所有放入的iso都会正常放入LFS中。git add时不用手工做特殊处理。上传时会显式提示使用了LFS功能。
使用
安装LFS：https://git-lfs.github.com/
在Repo中初始化。
git lfs install
同样利用BFG找出大文件
git rev-list --objects --all | grep "$(git verify-pack -v .git/objects/pack/*.idx | sort -k 3 -n | awk '{size=$3; if (size>10*1024*1024) { print $1;}}')" | awk '{print $2}' | sort | uniq
然后通过BFG转换LFS
java -jar bfg.jar --convert-to-git-lfs "myfile" --no-blob-protection
## 清理无用的object
git reflog expire --expire=now --all && git gc --prune=now --aggressive
编辑config添加lfs信息
[lfs "http://myrepo.git/info/lfs"]
access = basic
然后就可以推送了
# 推送LFS Objects
git lfs push origin --all
# 推送代码库
git push
参考资料：
Git LFS 大文件支持：https://coding.net/help/doc/git/git-lfs.html
如何瘦身 Git 仓库：https://linux.cn/article-8556-1.html
如何合并现有库到LFS，并处理历史：http://cf.jd.com/pages/viewpage.action?pageId=99330460
网友评论