美文网首页
centos搭建proxypool抓取节点

centos搭建proxypool抓取节点

作者: GeekRabbit | 来源:发表于2022-01-22 18:55 被阅读0次

    步骤

    1. 安装宝塔并安装nginx做反向代理
    2. 在根目录创建一个目录名proxy
    3. 下载一个proxpool主程序和config和source的配置文件
    4. nginx添加域名开启反向代理
    5. 运行程序

    安装宝塔

    yum install -y wget && wget -O install.sh http://download.bt.cn/install/install_6.0.sh && sh install.sh
    

    根下创建目录名proxy

    • 创建proxy目录

      image.png
    • 依次下载三个文件

      image.png

    proxypool

    https://pan.geekrabbit.top/?explorer/share/fileOut&shareID=7tywdr6g&path=%7BshareItemLink%3A7tywdr6g%7D%2F%E8%84%9A%E6%9C%AC%E6%96%87%E4%BB%B6%2Fproxypool%2Fproxypool
    

    config.ymal

    https://pan.geekrabbit.top/?explorer/share/fileOut&shareID=7tywdr6g&path=%7BshareItemLink%3A7tywdr6g%7D%2F%E8%84%9A%E6%9C%AC%E6%96%87%E4%BB%B6%2Fproxypool%2Fconfig.yaml
    

    sourcel.ymal

    https://pan.geekrabbit.top/?explorer/share/fileOut&shareID=7tywdr6g&path=%7BshareItemLink%3A7tywdr6g%7D%2F%E8%84%9A%E6%9C%AC%E6%96%87%E4%BB%B6%2Fproxypool%2Fsource.yaml
    

    下载好文件后重命名,并设置proxypool为755权限

    image.png
    • 修改config.yaml


      image.png

    添加反向代理

    • 宝塔网站里添加一个网站,域名为刚刚解析好并填入配置文件的网址

      image.png
    • 申请一个 ssl 证书,并打开强制 https

    image.png
    • 然后添加一个反向代理,代理到本机的 12580 端口(配置文件默认端口)


      image.png

    运行程序

    ssh启动进入/proxy

    nohup ./proxypool -c config.yaml 1>>run.log 2>>run.log &
    
    image.png

    访问成功

    image.png

    如果要更新配置

    • 进入 /proxy目录结束掉proxypool的运行
    cd /proxy
    ps -ef
    kill -s 9 4383  # 每个人的 PID 是不一样的
    
    image.png

    再次启动使用启动命令即可

    nohup ./proxypool -c config.yaml 1>>run.log 2>>run.log &
    

    原文链接

    相关文章

      网友评论

          本文标题:centos搭建proxypool抓取节点

          本文链接:https://www.haomeiwen.com/subject/hwxphrtx.html