Gitlab因宕机而无法登陆

2020-9-2

今天是中元节，所以服务器也闹鬼开了个玩笑。总之，结果就是服务器断电宕机，导致重新启动后无法登陆gitlab的网页。
额外说明，我的gitlab是通过docker部署的。

排查

首先排查了gitlab服务，很不幸，都运行的很好。

root@26db4c7149e6:/# gitlab-ctl status
run: alertmanager: (pid 376) 112s; run: log: (pid 375) 112s
run: gitaly: (pid 270) 119s; run: log: (pid 266) 119s
run: gitlab-exporter: (pid 370) 112s; run: log: (pid 368) 112s
run: gitlab-workhorse: (pid 307) 118s; run: log: (pid 306) 118s
run: grafana: (pid 372) 112s; run: log: (pid 371) 112s
run: logrotate: (pid 366) 112s; run: log: (pid 365) 112s
run: nginx: (pid 369) 112s; run: log: (pid 367) 112s
run: postgres-exporter: (pid 378) 112s; run: log: (pid 377) 112s
run: postgresql: (pid 272) 119s; run: log: (pid 267) 119s
run: prometheus: (pid 379) 112s; run: log: (pid 373) 112s
run: puma: (pid 276) 119s; run: log: (pid 275) 119s
run: redis: (pid 271) 119s; run: log: (pid 269) 119s
run: redis-exporter: (pid 380) 112s; run: log: (pid 374) 112s
run: sidekiq: (pid 273) 119s; run: log: (pid 268) 119s
run: sshd: (pid 28) 140s; run: log: (pid 27) 140s

怀揣迷信，docker中重启后也依旧没看出问题。

root@26db4c7149e6:/# gitlab-ctl restart
ok: run: alertmanager: (pid 2681) 0s
ok: run: gitaly: (pid 2697) 0s
ok: run: gitlab-exporter: (pid 2716) 0s
ok: run: gitlab-workhorse: (pid 2721) 1s
ok: run: grafana: (pid 2745) 0s
ok: run: logrotate: (pid 2757) 0s
ok: run: nginx: (pid 2765) 1s
ok: run: postgres-exporter: (pid 2773) 0s
ok: run: postgresql: (pid 2785) 1s
ok: run: prometheus: (pid 2794) 0s
ok: run: puma: (pid 2888) 0s
ok: run: redis: (pid 2893) 0s
ok: run: redis-exporter: (pid 2898) 0s
ok: run: sidekiq: (pid 2906) 1s
ok: run: sshd: (pid 2914) 0s

至此，只好对服务器整体进行重启，并重启gitlab服务，通过日志排查。

在重启之后，跟踪gitlab的输出，发现这么一句有意思的话（起码感觉有一点点希望）：

If this container fails to start due to permission problems try to fix it by executing:

docker exec -it gitlab update-permissions
docker restart gitlab

我不认为之前的一系列真的是因为权限引起的，可是断电这种事，谁说的清呢，只好继续了。

然后，奇迹发生了，gitlab好了！

这次事件发生后网上各种找，不过确实没找到什么有用的信息，所以记录这么一条，权当丰富一下互联网内容吧。如果有行家知道究竟发生了什么，希望不吝赐教。