说明
如果说微服务和容器是最佳拍档，那么模块多实例是肯定少不了。假如没有使用类似 Google jib 等手段进行镜像分层（利用镜像缓存），势必会造成:
- 带宽浪费： 尤其是公网带宽，如果是自建 harbor，那么会容易导致单节点网卡被打满，如果用了 harbor 联邦，又会导致数据同步等运维问题。
- 集群拉起慢：镜像下载慢，必然会导致服务拉起慢。
Dragonfly 是阿里巴巴自研并开源的一款基于 P2P 协议的文件分发系统。除了使用 dfget 进行文件下载外，还支持通过 dfdaemon 调用 dfget 进行 docker 镜像下载。
对于 dfdaemon 放置方案
方案 优点 缺点
通过 daemonset 部署到所有节点 简单 新节点启动，其 dfdaemon 自身还无法启动，无法提供代理功能，出现鸡和蛋的问题
通过 daemonset 部署到已有部分节点 资源复用 拉取镜像需要消耗这些节点大量的流量和资源，对这些节点上的应用产生影响
通过 docker 在新节点初始化时部署 解决鸡和蛋的问题 会造成管理复杂性，这部分容器不受 kubernetes 管理
通过二进制在新节点初始化时部署 资源复用 增加了节点初始化时间，随着节点增加，复杂度线性增长
通过额外节点 docker 部署 隔离效果好，复杂度固定 增加了成本
吐槽
Dragonfly 的一些资料除了网上早几年的宣传文档，几乎没找到近期的一些实战资料（不禁怀疑真的有生产用户在用？）。另外官方文档简陋的几页，都年久失修，简直就是 TMD 的垃圾中的战斗机（致敬满满铜臭的阿里）。
安装
步骤 1：部署 Dragonfly 集群管理器（Cluster Manager）服务端 Supernode
打印默认配置：
参考：https://github.com/dragonflyoss/Dragonfly/blob/master/docs/config/supernode_config_template.yml
# docker run --rm -it dragonflyoss/supernode:1.0.6 config default
启动 supernode 容器：
备注：我这里时间设置都尽量调大了，为了尽可能多的使用 cache
--advertise-ip 是 supernode 所在宿主机的 IP，必须是客户端能够连通的，如果不设置，有可能会导致 client 无法连接 supernode，届时 docker pull 会走 clinet 的网络，从真实的 registry 直接下载镜像
--pool-size 是核心池大小。当请求启动下载任务时，超级节点将构造一个线程并发池，以下载源文件片段并写入指定的存储。通过 HTTP 标头中设置的 range 属性将源文件下载分成多个部分。
--max-bandwidth 是超级节点可以使用的网络带宽
--system-bandwidth 是为系统软件保留的网络带宽
--fail-access-interval 是访问 URL 失败后的时间间隔。如果无法从源下载任务，则自上次失败以来的时间内将不会重试该任务。
--gc-initial-delay 从启动到第一次执行 GC 的延迟时间
--gc-meta-interval 执行 GC 元数据的间隔时间
--task-expire-time 当未在 task-expire-time 内访问任务时，该任务将被视为过期
--peer-gc-delay 对等方报告脱机之后执行 GC 的延迟时间
# mkdir -p /opt/dragonfly
# cat > /opt/dragonfly/supernode.yml <<EOF
base:
cdnPattern: local
listenPort: 8002
downloadPort: 8001
homeDir: /home/admin/supernode
schedulerCorePoolSize: 100
downloadpath: /home/admin/supernode/repo/download
peerUpLimit: 5
peerDownLimit: 5
# 当 dfget 节点开始扮演对等方的角色时，它将为其他对等方提供服务。如果在为对等方提供服务时遇到问题，其自故障将增加 1。当故障限制达到 eliminationLimit 时，对等方会将自己隔离为不健康状态。然后，此 dfget 将不再被其他对等方调用
eliminationLimit: 5
# 是在 dfget 客户端在超级节点中设置的故障计数限制。当 dfget 客户端加入由超级节点构建的对等网络时，超级节点将命令对等方开始分发任务。当 dfget 客户端未能完成分发任务时，客户端的失败计数将增加 1。当客户端的失败计数达到 failureCountLimit 时，dfget 客户端将被移至超级节点的黑名单以停止作为对等方角色。
failureCountLimit: 5
linkLimit: 20MB
systemReservedBandwidth: 20MB
maxBandwidth: 200MB
enableProfiler: false
debug: true
# supernode 地址
advertiseIP: "10.64.57.72"
failAccessInterval: 1m
gcInitialDelay: 5m
gcMetaInterval: 24h
taskExpireTime: 30m
peerGCDelay: 24h
# 执行磁盘 GC 的间隔时间
gcDiskInterval: 5m
# 如果可用磁盘空间大于 YoungGCThreshold 不需要 GC 磁盘
youngGCThreshold: 10GB
# 如果可用磁盘空间小于 FullGCThreshold，超级节点应 gc 所有未使用的任务文件
fullGCThreshold: 5GB
# 访问任务文件的时间间隔的阈值
IntervalThreshold: 2h0m0s
cleanratio: 1
logConfig:
maxSize: 0
maxBackups: 0
path: ""
plugins: {}
storages: {}
EOF
# docker run --name supernode \
-d \
--restart=always \
-p 8001:8001 \
-p 8002:8002 \
-v /opt/dragonfly/supernode:/home/admin/supernode \
-v /opt/dragonfly/supernode.yml:/etc/dragonfly/supernode.yml:ro \
dragonflyoss/supernode:1.0.6 \
--config /etc/dragonfly/supernode.yml
# docker exec -it supernode netstat -tnlp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.0.0.0:8001 0.0.0.0:* LISTEN 7/nginx: master pro
tcp 0 0 :::8002 :::* LISTEN 8/supernode
查看目录：
注意：repo 目录是用来做临时源缓存的
# docker exec -it supernode ls -l /home/admin/supernode/
total 0
drwxr--r-- 2 root root 20 Dec 2 07:05 logs
drwxr-xr-x 2 root root 6 Dec 2 07:05 repo
查看日志：
# docker logs -f supernode
time="2020-12-02T07:05:11Z" level=debug msg="use log file /home/admin/supernode/logs/app.log"
# docker exec -it supernode tail -f /home/admin/supernode/logs/app.log
cleanratio: 1
logConfig:
maxSize: 0
maxBackups: 0
path: ""
plugins: {}
storages: {}
2020-12-02 07:05:11.455 INFO sign:8 : start to run supernode
2020-12-02 07:05:11.465 DEBU sign:8 : start the gc job
步骤 2：部署 Dragonfly 客户端 dfclient
打印默认配置：
参考：https://github.com/dragonflyoss/Dragonfly/blob/master/docs/config/dfdaemon_config_template.yml
# docker run --rm -it dragonflyoss/dfclient:1.0.6 config default
注意：该镜像中包含 dfdaemon 和 dfget
注意：dfdaemon 仅用于拉取镜像。dfdaemon 扮演代理角色，拦截容器引擎的镜像下载请求并重定向到 dfget 中。
注意：--node 指定 supernodes 地址，支持多个地址如：nodeIp1,nodeIp2
注意：--registry 指定镜像仓库地址，https://index.docker.io 为官方镜像仓库，您也可以设置为其他仓库地址，也可以写加速器地址。
注意：--workHome 测试无法改变 /root/.small-dragonfly 目录
# mkdir -p /opt/dragonfly
# cat > /opt/dragonfly/dfdaemon.yml <<EOF
# 配置注册表的镜像，从自己的私有仓库下拉，拉不到就去 docker hub 拉，再拉不到报错
registry_mirror:
remote: https://harbor.sit.hupu.io
certs: null
insecure: false
direct: false
# 透明代理的规则列表。如果未提供任何规则，则将直接代理所有请求。请求将使用第一个匹配规则进行代理
proxies: []
## proxy all http image layer download requests with dfget
#- regx: blobs/sha256.*
## change http requests to some-registry to https and proxy them with dfget
#- regx: some-registry/
# use_https: true
## proxy requests directly, without dfget
#- regx: no-proxy-reg
# direct: true
# dfdaemon 应当劫持其 https 请求的主机列表。如果网址与代理规则匹配，则 DFdaemon 将能够使用 dfget 代理来自它们的请求。将使用第一个匹配的规则。
hijack_https: null
## key pair used to hijack https requests
#cert: df.crt
#key: df.key
#hosts:
# - regx: mirror.aliyuncs.com:443 # regexp to match request hosts
# # whether to ignore https certificate errors
# insecure: false
# # optional certificates if the host uses self-signed certificates
# certs: []
port: 65001
hostIp: 127.0.0.1
certpem: ""
keypem: ""
verbose: false
maxprocs: 4
# --node 指定 supernodes
# --expiretime：缓存的文件不被任何进程访问持续时间（默认 3 分钟）
# --alivetime：上载器在任何期间都无法访问任何上载请求的有效持续时间，在此期间上载器将自动退出（默认值为 5m0s）
#dfget_flags: ["--node", "192.168.33.21", "--verbose", "--ip", "192.168.33.23", "--port", "15001", "--expiretime", "3m0s", "--alivetime", "5m0s", "-f", "filterParam1&filterParam2"]
dfget_flags: ["--expiretime", "24h", "--alivetime", "1h"]
# 这里指定多个 supernode 节点
supernodes:
- 10.64.56.175:8002
- 10.64.56.176:8002
ratelimit: 200MB
workHome: /root/.small-dragonfly
localrepo: /root/.small-dragonfly/dfdaemon/data
dfpath: /opt/dragonfly/df-client/dfget
logConfig:
maxSize: 0
maxBackups: 0
path: ""
localIP: ""
peerPort: 0
streamMode: false
EOF
# docker run --name dfclient \
-d \
--restart=always \
-p 65001:65001 \
-v /opt/dragonfly/.small-dragonfly:/root/.small-dragonfly \
-v /opt/dragonfly/dfdaemon.yml:/etc/dragonfly/dfdaemon.yml:ro \
dragonflyoss/dfclient:1.0.6 \
--config /etc/dragonfly/dfdaemon.yml
# docker logs -f dfclient
# docker exec -it dfclient tail -f /root/.small-dragonfly/logs/dfdaemon.log
备注：如果要使用二进制部署：
# wget https://github.com/dragonflyoss/Dragonfly/releases/download/v1.0.6/Dragonfly_1.0.6_linux_amd64.tar.gz
# tar -zxf Dragonfly_1.0.6_linux_amd64.tar.gz
# mv Dragonfly_1.0.6_linux_amd64/{supernode,dfget,dfdaemon} /usr/local/bin/
# rm -rf Dragonfly_1.0.6_linux_amd64/
# vi /etc/dragonfly/dfdaemon.yml
# 注意修改 dfget 路径
dfpath: /usr/local/bin/dfget
# cat > /usr/lib/systemd/system/dfdaemon.service <<EOF
[Unit]
Description=dfdaemon server
Documentation=https://github.com/dragonflyoss/Dragonfly
After=network.target
[Service]
ExecStart=/usr/local/bin/dfdaemon --config /etc/dragonfly/dfdaemon.yml
Type=simple
Restart=always
RestartSec=5
LimitNPROC=infinity
LimitCORE=infinity
LimitNOFILE=1048576
TasksMax=infinity
OOMScoreAdjust=-999
[Install]
WantedBy=multi-user.target
EOF
# systemctl enable dfdaemon.service --now
步骤 3：修改 Docker Daemon 配置
我们需要修改 Docker Daemon 配置，通过 mirror 方式来使用 Dragonfly 进行镜像的拉取。即让 docker engine 走 dfdaemon
注意：如果是本机代理用 127.0.0.1 即可，如果额外部署 dfdaemon 节点的话，需要用 LB 去负载均衡，这里就要换成 LB 地址
# vi /etc/docker/daemon.json
{
"registry-mirrors": ["http://127.0.0.1:65001"]
}
重启 Docker Daemon：
# systemctl restart docker
步骤 4：拉取镜像
通过以上步骤我们即完成了 Dragonfly 服务端与客户端的部署，并且设置了 Docker Daemon 通过 Dragonfly 来拉取 harbor 镜像。
注意：不要在 imageName 中包含映像库 URL，因为在启动 dfdaemon 时已使用注册表参数指定了库 URL
直接走公网下载：
# docker pull grafana/grafana:7.3.4
直接走 harbor 下载：
# docker pull harbor.sit.hupu.io/k8s/grafana:7.3.2
走 dragonfly 下载：
注意：当 dfdaemon 都挂掉了，那么这里就无法拉取了，会报错的
注意：首先去 harbor 拉取，如果 harbor 没有就去 docker hub 拉取，如果再没有就报错
# docker pull k8s/grafana:7.3.1
查看镜像：
# docker images |grep grafana
grafana/grafana 7.3.4 651ff2dc930f 2 weeks ago 187MB
harbor.sit.hupu.io/k8s/grafana 7.3.2 68f75fcab5a9 3 weeks ago 186MB
k8s/grafana 7.3.1 900b03b57e41 5 weeks ago 186MB
步骤 5：验证
您可以通过执行以下命令，检验 alpine 镜像是否通过 Dragonfly 来传输完成。
# docker exec dfclient grep 'downloading piece' /root/.small-dragonfly/logs/dfclient.log
...
2020-12-02 06:46:45.790 INFO sign:126-1606891605.701 : downloading piece:{"taskID":"3dad6a545f6d13baf8708306d6ae7dda0d4b45e14b2172cd9e0b4f4d0a249b8e","superNode":"10.64.57.72:8002","dstCid":"","range":"","result":502,"status":700,"pieceSize":0,"pieceNum":0}
另外还可以查看其他日志：
# docker exec -it dfclient ls -la /root/.small-dragonfly/logs
total 532
drwxr--r-- 2 root root 63 Dec 2 07:11 .
drwxr-xr-x 6 root root 54 Dec 2 07:11 ..
-rw-r--r-- 1 root root 277869 Dec 2 07:12 dfclient.log
-rw-r--r-- 1 root root 14482 Dec 2 07:13 dfdaemon.log
-rw-r--r-- 1 root root 2259 Dec 2 07:12 dfserver.log
# docker exec dfclient cat /root/.small-dragonfly/logs/dfdaemon.log
2020-12-02 06:46:44.904 INFO sign:1 : start download url:https://harbor.sit.hupu.io/v2/base/openjdk/blobs/sha256:53301c1d4ea328b37c7cf0577a15b083d175a88e1375632a8ac6532e820a9332 to 98907c7d-6f41-46f9-b111-7a4a8cf1af9d in repo
2020-12-02 06:46:44.904 DEBU sign:1 : round trip with dfget: https://harbor.sit.hupu.io/v2/base/openjdk/blobs/sha256:b205ed23b4294eb568169e43e158008ab7c43c32ad78b8c7a492448a7bbd371b
查看目录：
# docker exec -it dfclient ls -la /root/.small-dragonfly/
total 4
drwxr-xr-x 6 root root 54 Dec 2 07:11 .
drwx------ 1 root root 30 Dec 2 07:09 ..
drwxr-xr-x 2 root root 4096 Dec 2 07:12 data
drwxr-xr-x 3 root root 17 Dec 2 07:09 dfdaemon
drwxr--r-- 2 root root 63 Dec 2 07:11 logs
drwxr-xr-x 2 root root 22 Dec 2 07:11 meta
发现拉取的数据：
# docker exec -it dfclient ls -la /root/.small-dragonfly/meta
total 4
drwxr-xr-x 2 root root 22 Dec 2 07:11 .
drwxr-xr-x 6 root root 54 Dec 2 07:11 ..
-rwxr-xr-x 1 root root 21 Dec 2 07:11 host.meta
# docker exec -it dfclient ls -la /root/.small-dragonfly/data
total 256108
drwxr-xr-x 2 root root 4096 Dec 2 07:12 .
drwxr-xr-x 6 root root 54 Dec 2 07:11 ..
-rwxr-xr-x 1 root root 30210 Dec 2 07:11 1f1b8628-743f-4d86-b6e6-daa039563005-86-1606893114.657.service
-rwxr-xr-x 1 root root 916 Dec 2 07:12 21102506-36cd-431c-89ca-5b192bd38e92-226-1606893129.060.service
-rwxr-xr-x 1 root root 11669 Dec 2 07:11 2e0ac47e-5a01-481e-be61-45e3bff18bfd-40-1606893114.210.service
-rwxr-xr-x 1 root root 5779438 Dec 2 07:11 364e003e-0431-4123-8fcd-95d1f3d8adc5-113-1606893118.230.service
-rwxr-xr-x 1 root root 12401014 Dec 2 07:12 39f690e5-3e86-44f2-bc5f-5b6e9cebcac5-171-1606893122.577.service
-rwxr-xr-x 1 root root 541 Dec 2 07:12 3bfc69a4-1312-4590-9b9a-eed9243bf477-180-1606893122.861.service
-rwxr-xr-x 1 root root 960596 Dec 2 07:11 40bb4cdd-74b6-4664-ac96-01fcd9cf5386-95-1606893114.949.service
-rwxr-xr-x 1 root root 540 Dec 2 07:12 4f650c4d-1dae-4320-a4fb-be5bdde8cde5-163-1606893122.237.service
-rwxr-xr-x 1 root root 200 Dec 2 07:12 6ec2527a-1962-4f9e-8eed-9d9e49599e78-153-1606893121.884.service
-rwxr-xr-x 1 root root 18013716 Dec 2 07:12 73dbede6-d852-48be-ab0d-2e1c3fd485e5-103-1606893115.691.service
-rwxr-xr-x 1 root root 57784 Dec 2 07:12 78ea94a9-c56b-4222-b078-41d8205d94a2-122-1606893120.421.service
-rwxr-xr-x 1 root root 73361858 Dec 2 07:11 85f2cebd-030e-4ed1-8cdd-af91536b9dd5-47-1606893114.232.service
-rwxr-xr-x 1 root root 43395889 Dec 2 07:11 89aa7794-2e25-47e8-ae5a-175d59b42a19-45-1606893114.223.service
-rwxr-xr-x 1 root root 104078240 Dec 2 07:12 9f374057-72ef-4c23-b637-5cd23546a68a-143-1606893121.682.service
-rwxr-xr-x 1 root root 56984 Dec 2 07:12 bfd1e2fc-60e6-4f44-8ca9-7160b0388152-130-1606893120.808.service
-rwxr-xr-x 1 root root 4047182 Dec 2 07:12 c1d46b63-9c6b-4f63-a224-f963aa950c9f-139-1606893121.689.service
-rwxr-xr-x 1 root root 590 Dec 2 07:12 cfdc0a72-f543-4060-b337-e1570b6646e3-199-1606893124.507.service
-rwxr-xr-x 1 root root 412 Dec 2 07:11 da69371b-810e-41e9-84b8-a2b9c8ca3299-55-1606893114.207.service
-rwxr-xr-x 1 root root 512 Dec 2 07:12 df8b81da-e052-41ef-bbc2-451d6ce13964-189-1606893123.371.service
-rwxr-xr-x 1 root root 590 Dec 2 07:12 e0ee3ef4-7e0c-41a6-8e39-99c74b8df5aa-209-1606893127.091.service
-rwxr-xr-x 1 root root 436 Dec 2 07:12 e22b5706-3ba4-470b-87bb-ecb158f8be62-214-1606893127.138.service
步骤 6：k8s 上验证
apiVersion: apps/v1
kind: Deployment
metadata:
labels:
app: flog
name: flog
namespace: default
spec:
progressDeadlineSeconds: 600
replicas: 4
revisionHistoryLimit: 10
selector:
matchLabels:
app: flog
strategy:
type: Recreate
template:
metadata:
creationTimestamp: null
labels:
app: flog
spec:
affinity:
podAntiAffinity:
preferredDuringSchedulingIgnoredDuringExecution:
- podAffinityTerm:
labelSelector:
matchExpressions:
- key: app
operator: In
values:
- flog
topologyKey: kubernetes.io/hostname
weight: 100
containers:
- args:
- -t
- stdout
- -n
- "100000000000"
- -l
# 注意：image 无需带上 registry 地址和端口
image: k8s/flog:latest
imagePullPolicy: IfNotPresent
name: flog
resources: {}
terminationMessagePath: /dev/termination-log
terminationMessagePolicy: File
dnsPolicy: ClusterFirst
restartPolicy: Always
schedulerName: default-scheduler
securityContext: {}
terminationGracePeriodSeconds: 30
# kubectl apply -f flog.yaml
排错
错误 1：
# docker pull base/openjdk:v1.8
Error response from daemon: pull access denied for base/openjdk, repository does not exist or may require 'docker login': denied: requested access to the resource is denied
解决：
需要指定 mirror 的仓库
registry_mirror:
remote: https://harbor.sit.hupu.io
certs: null
insecure: false
direct: false
或：
--registry https://harbor.sit.hupu.io
错误2：
通过一个 daemonset 启动 2 GB 镜像（节点 200 台），然后蜻蜓 dfdaemon 就全挂了
# docker exec -it dfclient tail -f /root/.small-dragonfly/logs/dfdaemon.log
2020-12-24 03:48:42.019 ERRO sign:1 : download fail: dfget fail(exit status 2):exit status 2
2020-12-24 03:48:42.019 ERRO sign:1 : download fail: dfget fail(signal: killed):signal: killed
2020-12-24 03:48:42.019 ERRO sign:1 : download fail: dfget fail(exit status 80):exit status 80
解决：
架构：
nodes -> SLB -> dfdaemons -> supernodes -> harbor
阿里群里 2个大佬说目前 dfdaemon 目前只支持本地代理，2.0 架构会支持上面的部署模式。
但是不对，因为早上我刚开始用 ds 启动 grafana（200 个 grafana） 是正常的，grafana 镜像应该比较小。然后换成我自己特地弄的 2 个大镜像（单个 1.6G）就不行了。真心不靠谱啊。
又有大佬说：理论上 1.0 的就算这样使用，也是可以下载文件的，看上去应该是 dfget 有问题，下载不了文件导致的。这个还比较中肯。
查看发现 load 太高了，iowait 也很高，内存 8G 也用光了
# top
top - 12:12:23 up 1 day, 18:11, 1 user, load average: 829.77, 905.13, 868.60
Tasks: 296 total, 1 running, 270 sleeping, 0 stopped, 25 zombie
%Cpu(s): 1.8 us, 4.6 sy, 0.0 ni, 0.0 id, 93.4 wa, 0.0 hi, 0.2 si, 0.0 st
KiB Mem : 7733220 total, 101964 free, 7292648 used, 338608 buff/cache
KiB Swap: 0 total, 0 free, 0 used. 63700 avail Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
16499 root 20 0 134868 25764 0 S 5.4 0.3 1:18.02 dfget
27092 root 20 0 185408 42756 1500 S 5.1 0.6 0:02.09 dfget
28461 root 20 0 238580 96816 0 S 4.9 1.3 3:09.05 dfdaemon
3331 root 20 0 130176 17396 0 S 3.4 0.2 0:47.88 dfget
25958 root 20 0 117940 47708 1124 S 3.3 0.6 0:02.20 dfget
3692 root 20 0 116684 40892 0 S 3.0 0.5 7:07.46 node_exporter
21333 root 20 0 123460 18336 0 D 2.5 0.2 0:12.52 dfget
26251 root 20 0 117848 8412 764 S 2.5 0.1 0:04.54 dfget
25564 root 20 0 125208 16356 0 D 2.3 0.2 0:04.60 dfget
9414 root 20 0 134316 20448 0 S 2.1 0.3 0:55.74 dfget
55887 root 20 0 212824 30608 0 S 1.5 0.4 1:55.30 dfget
465 root 0 -20 0 0 0 S 1.3 0.0 0:10.58 kworker/3:1H
26240 root 20 0 185592 52772 1772 S 1.0 0.7 0:04.50 dfget
3379 root 20 0 1226372 12980 1104 S 0.7 0.2 5:24.39 /usr/local/clou
26252 root 20 0 253520 101456 1668 D 0.7 1.3 0:03.31 dfget
27865 root 20 0 117756 67168 880 S 0.7 0.9 0:02.94 dfget
27888 root 20 0 185500 88564 1672 S 0.7 1.1 0:00.88 dfget
28938 root 20 0 118032 35352 2488 S 0.7 0.5 0:00.65 dfget
27656 root 20 0 117848 62964 576 S 0.5 0.8 0:01.02 dfget
46168 root 10 -10 137704 10388 0 S 0.5 0.1 3:13.82 AliYunDun
2 root 20 0 0 0 0 D 0.3 0.0 0:03.46 kthreadd
3 root 20 0 0 0 0 S 0.3 0.0 0:12.40 ksoftirqd/0
26227 root 20 0 185776 102396 1352 S 0.3 1.3 0:07.07 dfget
26286 root 20 0 117848 58804 768 S 0.3 0.8 0:01.76 dfget
27074 root 20 0 117848 21228 868 S 0.3 0.3 0:04.37 dfget
27461 root 20 0 117848 21168 1152 S 0.3 0.3 0:01.76 dfget
27577 root 20 0 117940 25304 1084 S 0.3 0.3 0:00.72 dfget
27777 root 20 0 185868 81376 1184 S 0.3 1.1 0:02.01 dfget
27823 root 20 0 185500 79720 700 S 0.3 1.0 0:00.90 dfget
27881 root 20 0 118032 24388 1600 S 0.3 0.3 0:02.43 dfget
# iostat -x 1
avg-cpu: %user %nice %system %iowait %steal %idle
5.70 0.00 5.44 88.86 0.00 0.00
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
vda 0.00 0.00 0.00 2.00 0.00 8.00 8.00 0.00 0.00 0.00 0.00 0.00 0.00
vdb 207.00 0.00 114.00 520.00 21776.00 95992.00 371.51 119.03 414.62 242.16 452.43 1.47 93.00
dfget 进程很多：
# ps -elf|grep dfget|wc -l
339
查看发现 OOM：
[Thu Dec 24 12:23:09 2020] kthreadd invoked oom-killer: gfp_mask=0x3000d0, order=2, oom_score_adj=0
[Thu Dec 24 12:23:09 2020] kthreadd cpuset=/ mems_allowed=0
[Thu Dec 24 12:23:09 2020] CPU: 0 PID: 2 Comm: kthreadd Tainted: G OE ------------ T 3.10.0-957.21.3.el7.x86_64 #1
[Thu Dec 24 12:23:09 2020] Hardware name: Alibaba Cloud Alibaba Cloud ECS, BIOS 8c24b4c 04/01/2014
[Thu Dec 24 12:23:09 2020] Call Trace:
[Thu Dec 24 12:23:09 2020] [<ffffffffa4963107>] dump_stack+0x19/0x1b
[Thu Dec 24 12:23:09 2020] [<ffffffffa495db2a>] dump_header+0x90/0x229
[Thu Dec 24 12:23:09 2020] [<ffffffffa4301292>] ? ktime_get_ts64+0x52/0xf0
[Thu Dec 24 12:23:09 2020] [<ffffffffa43584df>] ? delayacct_end+0x8f/0xb0
[Thu Dec 24 12:23:09 2020] [<ffffffffa43ba834>] oom_kill_process+0x254/0x3d0
[Thu Dec 24 12:23:09 2020] [<ffffffffa43ba2dd>] ? oom_unkillable_task+0xcd/0x120
[Thu Dec 24 12:23:09 2020] [<ffffffffa43ba386>] ? find_lock_task_mm+0x56/0xc0
[Thu Dec 24 12:23:09 2020] [<ffffffffa43bb076>] out_of_memory+0x4b6/0x4f0
[Thu Dec 24 12:23:09 2020] [<ffffffffa495e62e>] __alloc_pages_slowpath+0x5d6/0x724
[Thu Dec 24 12:23:09 2020] [<ffffffffa43c1454>] __alloc_pages_nodemask+0x404/0x420
[Thu Dec 24 12:23:09 2020] [<ffffffffa42c1cd0>] ? insert_kthread_work+0x40/0x40
[Thu Dec 24 12:23:09 2020] [<ffffffffa4294dfd>] copy_process+0x1dd/0x1a40
[Thu Dec 24 12:23:09 2020] [<ffffffffa4296811>] do_fork+0x91/0x320
[Thu Dec 24 12:23:09 2020] [<ffffffffa4296ac6>] kernel_thread+0x26/0x30
[Thu Dec 24 12:23:09 2020] [<ffffffffa42c2761>] kthreadd+0x2c1/0x300
[Thu Dec 24 12:23:09 2020] [<ffffffffa42c24a0>] ? kthread_create_on_cpu+0x60/0x60
[Thu Dec 24 12:23:09 2020] [<ffffffffa4975c37>] ret_from_fork_nospec_begin+0x21/0x21
[Thu Dec 24 12:23:09 2020] [<ffffffffa42c24a0>] ? kthread_create_on_cpu+0x60/0x60
[Thu Dec 24 12:23:09 2020] Mem-Info:
[Thu Dec 24 12:23:09 2020] active_anon:1689377 inactive_anon:174 isolated_anon:0
active_file:1285 inactive_file:2791 isolated_file:245
unevictable:0 dirty:0 writeback:147 unstable:0
slab_reclaimable:11342 slab_unreclaimable:35879
mapped:334 shmem:254 pagetables:8860 bounce:0
free:25505 free_pcp:0 free_cma:0
[Thu Dec 24 12:23:09 2020] Node 0 DMA free:15908kB min:136kB low:168kB high:204kB active_anon:0kB inactive_anon:0kB active_file:0kB inactive_file:0kB unevictable:0kB isolated(anon):0kB isolated(file):0kB present:15992kB managed:15908kB mlocked:0kB dirty:0kB writeback:0kB mapped:0kB shmem:0kB slab_reclaimable:0kB slab_unreclaimable:0kB kernel_stack:0kB pagetables:0kB unstable:0kB bounce:0kB free_pcp:0kB local_pcp:0kB free_cma:0kB writeback_tmp:0kB pages_scanned:0 all_unreclaimable? yes
[Thu Dec 24 12:23:09 2020] lowmem_reserve[]: 0 2795 7533 7533
[Thu Dec 24 12:23:09 2020] Node 0 DMA32 free:43740kB min:25024kB low:31280kB high:37536kB active_anon:2495316kB inactive_anon:184kB active_file:2308kB inactive_file:7212kB unevictable:0kB isolated(anon):0kB isolated(file):1184kB present:3111608kB managed:2865384kB mlocked:0kB dirty:164kB writeback:376kB mapped:784kB shmem:284kB slab_reclaimable:19756kB slab_unreclaimable:47628kB kernel_stack:44064kB pagetables:10072kB unstable:0kB bounce:0kB free_pcp:408kB local_pcp:0kB free_cma:0kB writeback_tmp:0kB pages_scanned:3153 all_unreclaimable? no
[Thu Dec 24 12:23:09 2020] lowmem_reserve[]: 0 0 4738 4738
[Thu Dec 24 12:23:09 2020] Node 0 Normal free:42300kB min:42416kB low:53020kB high:63624kB active_anon:4262192kB inactive_anon:512kB active_file:3348kB inactive_file:5520kB unevictable:0kB isolated(anon):0kB isolated(file):496kB present:4980736kB managed:4851916kB mlocked:0kB dirty:40kB writeback:212kB mapped:1028kB shmem:732kB slab_reclaimable:25612kB slab_unreclaimable:95888kB kernel_stack:35232kB pagetables:25368kB unstable:0kB bounce:0kB free_pcp:0kB local_pcp:0kB free_cma:0kB writeback_tmp:0kB pages_scanned:1787 all_unreclaimable? no
[Thu Dec 24 12:23:09 2020] lowmem_reserve[]: 0 0 0 0
[Thu Dec 24 12:23:09 2020] Node 0 DMA: 1*4kB (U) 0*8kB 0*16kB 1*32kB (U) 2*64kB (U) 1*128kB (U) 1*256kB (U) 0*512kB 1*1024kB (U) 1*2048kB (M) 3*4096kB (M) = 15908kB
[Thu Dec 24 12:23:09 2020] Node 0 DMA32: 11064*4kB (UM) 0*8kB 0*16kB 0*32kB 0*64kB 0*128kB 0*256kB 0*512kB 0*1024kB 0*2048kB 0*4096kB = 44256kB
[Thu Dec 24 12:23:09 2020] Node 0 Normal: 1723*4kB (UEM) 4480*8kB (UEM) 4*16kB (UM) 0*32kB 0*64kB 0*128kB 0*256kB 0*512kB 0*1024kB 0*2048kB 0*4096kB = 42796kB
[Thu Dec 24 12:23:09 2020] Node 0 hugepages_total=0 hugepages_free=0 hugepages_surp=0 hugepages_size=1048576kB
[Thu Dec 24 12:23:09 2020] Node 0 hugepages_total=0 hugepages_free=0 hugepages_surp=0 hugepages_size=2048kB
[Thu Dec 24 12:23:09 2020] 3797 total pagecache pages
[Thu Dec 24 12:23:09 2020] 0 pages in swap cache
[Thu Dec 24 12:23:09 2020] Swap cache stats: add 0, delete 0, find 0/0
[Thu Dec 24 12:23:09 2020] Free swap = 0kB
[Thu Dec 24 12:23:09 2020] Total swap = 0kB
[Thu Dec 24 12:23:09 2020] 2027084 pages RAM
[Thu Dec 24 12:23:09 2020] 0 pages HighMem/MovableOnly
[Thu Dec 24 12:23:09 2020] 93782 pages reserved
[Thu Dec 24 12:23:09 2020] [ pid ] uid tgid total_vm rss nr_ptes swapents oom_score_adj name
[Thu Dec 24 12:23:09 2020] [ 505] 0 505 11115 139 23 0 -1000 systemd-udevd
[Thu Dec 24 12:23:09 2020] [ 757] 0 757 6653 140 19 0 0 systemd-logind
[Thu Dec 24 12:23:09 2020] [ 762] 999 762 153083 2192 62 0 0 polkitd
[Thu Dec 24 12:23:09 2020] [ 763] 81 763 14883 441 33 0 -900 dbus-daemon
[Thu Dec 24 12:23:09 2020] [ 771] 998 771 29446 130 28 0 0 chronyd
[Thu Dec 24 12:23:09 2020] [ 816] 0 816 31579 166 19 0 0 crond
[Thu Dec 24 12:23:09 2020] [ 819] 0 819 6476 51 19 0 0 atd
[Thu Dec 24 12:23:09 2020] [ 828] 0 828 27526 32 11 0 0 agetty
[Thu Dec 24 12:23:09 2020] [ 829] 0 829 27526 33 9 0 0 agetty
[Thu Dec 24 12:23:09 2020] [ 1025] 0 1025 25710 514 49 0 0 dhclient
[Thu Dec 24 12:23:09 2020] [ 1086] 0 1086 143480 2768 98 0 0 tuned
[Thu Dec 24 12:23:09 2020] [ 1339] 0 1339 4451 120 13 0 0 assist_daemon
[Thu Dec 24 12:23:09 2020] [ 1372] 0 1372 10534 190 13 0 0 aliyun-service
[Thu Dec 24 12:23:09 2020] [ 3621] 0 3621 5632 91 15 0 0 argusagent
[Thu Dec 24 12:23:09 2020] [ 3623] 0 3623 288161 3274 57 0 0 /usr/local/clou
[Thu Dec 24 12:23:09 2020] [ 3731] 997 3731 19740 202 37 0 0 zabbix_agentd
[Thu Dec 24 12:23:09 2020] [ 3732] 997 3732 19765 318 37 0 0 zabbix_agentd
[Thu Dec 24 12:23:09 2020] [ 3733] 997 3733 19740 228 38 0 0 zabbix_agentd
[Thu Dec 24 12:23:09 2020] [ 3734] 997 3734 19740 228 38 0 0 zabbix_agentd
[Thu Dec 24 12:23:09 2020] [ 3735] 997 3735 19740 228 38 0 0 zabbix_agentd
[Thu Dec 24 12:23:09 2020] [ 3736] 997 3736 20848 309 42 0 0 zabbix_agentd
[Thu Dec 24 12:23:09 2020] [ 3973] 0 3973 29123 11172 33 0 0 node_exporter
[Thu Dec 24 12:23:09 2020] [ 4012] 0 4012 109224 148 27 0 0 AliSecGuard
[Thu Dec 24 12:23:09 2020] [ 4762] 0 4762 28216 258 57 0 -1000 sshd
[Thu Dec 24 12:23:09 2020] [ 6035] 0 6035 13881 114 27 0 -1000 auditd
[Thu Dec 24 12:23:09 2020] [ 7333] 0 7333 185371 8005 67 0 -999 containerd
[Thu Dec 24 12:23:09 2020] [ 8114] 0 8114 191483 14776 116 0 -1000 dockerd
[Thu Dec 24 12:23:09 2020] [21528] 0 21528 96053 1291 62 0 0 rsyslogd
[Thu Dec 24 12:23:09 2020] [31410] 0 31410 54259 1829 18 0 -1000 docker-proxy
[Thu Dec 24 12:23:09 2020] [31425] 0 31425 28343 2055 13 0 -998 containerd-shim
[Thu Dec 24 12:23:09 2020] [31445] 0 31445 60469 23040 96 0 0 dfdaemon
[Thu Dec 24 12:23:09 2020] [49106] 0 49106 8133 360 21 0 0 AliYunDunUpdate
[Thu Dec 24 12:23:09 2020] [49133] 0 49133 34587 2763 67 0 0 AliYunDun
[Thu Dec 24 12:23:09 2020] [58651] 0 58651 39180 331 79 0 0 sshd
[Thu Dec 24 12:23:09 2020] [58653] 1002 58653 39180 341 76 0 0 sshd
[Thu Dec 24 12:23:09 2020] [58654] 1002 58654 28991 235 13 0 0 bash
[Thu Dec 24 12:23:09 2020] [58685] 0 58685 60294 293 73 0 0 sudo
[Thu Dec 24 12:23:09 2020] [58686] 0 58686 47944 146 49 0 0 su
[Thu Dec 24 12:23:09 2020] [58687] 0 58687 29023 258 13 0 0 bash
[Thu Dec 24 12:23:09 2020] [ 9952] 0 9952 30543 2953 26 0 0 dfget
[Thu Dec 24 12:23:09 2020] [11576] 0 11576 30060 1638 22 0 0 dfget
[Thu Dec 24 12:23:09 2020] [13986] 0 13986 33625 6044 44 0 0 dfget
[Thu Dec 24 12:23:09 2020] [14617] 0 14617 29462 1883 18 0 0 dfget
[Thu Dec 24 12:23:09 2020] [16105] 0 16105 35097 6758 52 0 0 dfget
...
[Thu Dec 24 12:23:09 2020] [42344] 0 42344 29393 1261 19 0 0 dfget
[Thu Dec 24 12:23:09 2020] [42345] 0 42345 29324 1516 18 0 0 dfget
[Thu Dec 24 12:23:09 2020] [42346] 0 42346 29347 1457 19 0 0 dfget
[Thu Dec 24 12:23:09 2020] [42560] 0 42560 57650 1292 26 0 -998 runc
[Thu Dec 24 12:23:09 2020] [42779] 0 42779 29324 1279 17 0 0 dfget
[Thu Dec 24 12:23:09 2020] [42961] 997 42961 20848 266 44 0 0 zabbix_agentd
[Thu Dec 24 12:23:09 2020] [42977] 0 42977 41388 209 37 0 0 crond
[Thu Dec 24 12:23:09 2020] [43068] 0 43068 29324 1472 18 0 0 dfget
[Thu Dec 24 12:23:09 2020] Out of memory: Kill process 35174 (dfget) score 14 or sacrifice child
[Thu Dec 24 12:23:09 2020] Killed process 35174 (dfget) total-vm:185500kB, anon-rss:109556kB, file-rss:0kB, shmem-rss:0kB
查看日志发现一些节点回源通信错误，换成 --net=host 试试，可惜问题也无法解决。
大佬说明：
一般 dfclient 都是节点粒度的，镜像的下载都是一对一的，只会启动一个 dfget 去下载，然后你现在的这个模式，变成了多对多，启动了几百个 dfget 去下载，小文件还好，大文件就爆了，我看你设置的 down limit 是 50，这样每个 dfget 占用的内存就可能会达到 15 * 50M 的，几百个 dfget 一起下载，多半就跪了。就算改小了，这里还是可能有问题的，dfclient 没有针对大量的请求做优化，还是会有崩掉的可能。
后面会上线一个 seed 的功能，应该可以满足你这个需求的，不会有那么多的 dfget 了，是单进程的
后续
换方案，每个节点使用二进制部署，然后本地代理，使用 10 个 daemonset（15 个节点），最终部分镜像下载成功，部分就一直无法下载了，惨不忍睹，真不知道阿里内部说严重依靠dragonfly做镜像分发是否是真的，或者说开源出来的版本完全就是个摆设？只能用于少量的镜像分发，对应大量的镜像直接挂，那要它何用？
kubectl delete -f grafana-dragonfly.yaml -f grafana-dragonfly0.yaml -f grafana-dragonfly1.yaml -f grafana-dragonfly2.yaml -f grafana-dragonfly3.yaml -f grafana-dragonfly4.yaml -f grafana-dragonfly5.yaml -f grafana-dragonfly6.yaml -f grafana-dragonfly7.yaml -f grafana-dragonfly8.yaml -f grafana-dragonfly9.yaml
snap_screen_20201225175017.png
结论
测试了几天，目前发现 dragonfly 无法应对量数据分发场景，且有一些性能问题，换了两组方案都无法成功 pull。
看看就好，生产慎重。
网友评论