利用Python对网站是否使用CDN进行“粗暴”的判断

什么是CDN？

CDN全称Content Delivery Network即内容分发网络。
其简单说来就是为服务器建立一个缓存机制，它分布在各地不同的服务器中，当我们去访问使用了CDN的服务器域名的时候，它会根据我们的IP地址，选择离我们最近的CDN服务器，为我们提供更为快速的访问体验。
同时他也能隐藏服务器的真实IP，提升攻击门槛。

如何判断CDN？

网上其实也有很多关于如何判断对方网站是否使用了CDN的方法，比如nslookup,或者dig,或者ping,再或者收集一份CDN字典（注：很多CDN再HTTP的返回头中都有标识，只要你够肝，你就可以收集整理很大一部分的CDN标识字典）。
当然我觉得判断CDN最有效的方式其实还是使用全球PING，根据响应IP来进行判断。但是我没有这么多服务器，同时也不想去抓网站API接口来进行判断 ：）

那么我是如何对CDN进行粗暴的判断的呢？

一个例子
我们会经常使用socket.getaddrinfo[host,port]这种方式去获取网站的IP

import socket
addr = socket.getaddrinfo('www.baidu.com','http')[0][4][0]
print(addr)

我只是个栗子
另一个例子
那么问题来了，如果我不指定port，我将其设置为None，这个时候，神奇的就来了，如果目标站点使用了CDN的话，那么getaddrinfo就会返回多个IP。

import socket

ip_list = []
addrs = socket.getaddrinfo('www.baidu.com', None)
for item in addrs:
    if item[4][0] not in ip_list:
        ip_list.append(item[4][0])
print(ip_list)

另一个栗子
最后
所以我的“粗暴”判断方式就是利用返回的IP数量来进行判断。（注：误报肯定是有的）

import socket
from threading import Thread, Semaphore

sm = Semaphore(20)
timeout = 5.0
# 超时判断
socket.setdefaulttimeout(timeout)


class ThreadWithReturnValue(Thread):
    def __init__(self, group=None, target=None, name=None, args=(), kwargs=None, *, daemon=None):
        Thread.__init__(self, group, target, name, args, kwargs, daemon=daemon)
        self._return = None

    def run(self):
        if self._target is not None:
                self._return = self._target(*self._args,**self._kwargs)

    def join(self):
        Thread.join(self)
        return self._return


def get_ip_list(domain):  # 获取域名解析出的IP列表
    dict = {}
    with sm:
        try:
            addrs = socket.getaddrinfo(domain, None)
            for item in addrs:
                if item[4][0] in dict:
                    dict.get(domain).append(str(item[4][0]))
                else:
                    dict.setdefault(domain, []).append(str(item[4][0]))
            # print('[*] Url: {} IP: {}'.format(domain, dict[domain][0]))
        except Exception as e:
            print('[-] Error: {} info: {}'.format(domain, e))
            pass
        except socket.timeout as e:
            print('[-] {} time out'.format(domain))
            pass
    return dict


def open_url_txt(filename):
    url_list = []
    with open(filename, 'r') as f:
        for l in f:
            url_list.append(l.strip())
    return url_list


def save_info(url, ip, key):
    if key == 1:
        with open('url_ip.csv', 'a+') as f:
            url_info = url + ',' + ip + '\n'
            f.write(url_info)

    else:
        with open('error_info.txt', 'a+') as f:
            f.write(url + ' ' + ','.join(ip) + '\n')



if __name__ == '__main__':
    url_list = open_url_txt('url_list.txt')
    thread_list = []
    for url in url_list:
        t = ThreadWithReturnValue(target=get_ip_list, args=(url,))
        thread_list.append(t)
        t.start()
    for t in thread_list:
        ip = t.join()
        if ip:
            for key in ip:
                if len(ip[key]) > 1:
                    print('[-] The Url: {} Maybe Exist CDN'.format(key))
                    save_info(key, ip[key], 0)
                else:
                    print('[*] Url:{} IP:{}'.format(key, ip[key][0]))
                    save_info(key, ip[key][0], 1)
    print('[*] End Scanner')

运行中 完成扫描的结果 疑似CDN的保存结果

最后的最后
我为什么要写这样一个脚本？其实不论是护网还是挖掘SRC，我们都会面临大量的域名，其中很大一部分都是部署了CDN的，如果我们盲目的使用端口扫描等工具的时候，会浪费我们大量的时间。并且我最近在写一个自己的信息收集框架，所以也算是为自己后面的框架写测试demo吧！:)
gayhub传送点：
https://github.com/HoldOnToYourHeart/qf_scan/blob/master/cdn_judge.py