为啥要写这篇文章，就是为了让你上『最强王者』！ Scrapy的文章，好多好多，但是99%的文章都是，写完爬虫就完事儿了 ，至于后来怎么用？去哪里用？都没有交带。我这里就交代一种，可以把你的小虫子部署到服务器上！但是怎么部署，
既然我们选择了腾讯云，首先去腾讯云的官网，注册登录一下。
1https://cloud.tencent.com/
当你看到这篇文章的时候，我不知道腾讯云的优惠是怎样的，反正我当时，给我了7天的云服务器体验。我就准备拿这个试试手。腾讯云界面长这个样子：
登录之后，买完服务器之后，在云服务器界面，就会看到你的服务器实例了：
界面上面有你服务器的ip地址，我们远程登录，就需要知道服务器的公网ip地址：
本地我用Mac的terminal的ssh登录，输入指令就是：
1$ ssh root@1XX.XXX.XXX.XXX
然后输入密码，登录成功，就会显示如下界面：
Scrapy
写的。我们要用到的工具，有Scrapyd和Scrapyd-client。这两个是专门用来部署Scrapy爬虫的东西。OK，既然要部署爬虫，我们就来先看一下我们的爬虫长什么样子。
爬虫就是这样，我们部署的任务，目前有两个部分，远端的服务器和我们本地的电脑。我们要把本地电脑的爬虫部署到远端的服务器上，上文中我们提到了两个东西Scrayd和Scrapyd-client这两个东西，分别安装的位置就是远端服务器安Scrapyd，本地需要上传的机器安装Scrapy-client。那么，我们本地机器安装scrapy-client。
OK，本地的配置到这里就结束了。我们接着之前的教程来登录你远端的服务器，登录成功之后，我们需要安装Python3.6，以及Scrapyd等东西。
你只需要按步骤输入一下命令行就可以，有些命令执行起来可能会时间比较长，请稍作等待
：
安装好之后，运行命令
1# '/usr/local/python3/bin/scrapyd'
会启动scrapyd，如下图:
Scrapyd启动后，是可以通过访问6800端口查看到网页信息的。那么这里我们如果想通过外网ip访问到网页，是失败的
接着，我们还需要给我们的云服务器配置一下安全组，要把6800的接口权限开通，这样才能够通过外网访问到服务器的网页。
腾讯云的控制台页面，左侧选择安全组，
选择新建按钮，我们这里选择常用的端口暴露，即第二个。
然后选择修改规则，因为我们要把6800加进去。
选择我们刚才添加的那个安全组，点击确定。
OK，
现在就是见证奇迹的时刻
由于我们还没有部署爬虫，所以，点击Jobs和Logs链接进去之后，都是空页面。
啊，我的快捷标签大家就别关注了。看到这个页面就说明你的Scrapyd在远端的服务器上面已经跑成功了。
1$ scrapyd-deploy TencentCloud -p DailyWeb
若是在这期间有错误，根据错误提示来自行安装Python库就好。等到部署成功，会出现如下画面：
看到我们的DailyWeb爬虫已经成功部署到了腾讯云服务器上了。
我们可以通命令：
1curl http://119.75.216.20:6800/listprojects.json
可以看到远端服务器上的爬虫:
OK，我们现在如果想要爬虫启动，那么只需要输入命令：
1$ curl http://119.75.216.20:6800/schedule.json -d project= -d spider=
我们这里输入的命令则是：
1$ curl http://119.75.216.20:6800/schedule.json -d project=DailyWeb -d spider=Caoliu
输入完，本地的terminal会呈现：
我们在浏览器里，访问服务器的6800端口，就能够在网页的Jobs里面看到爬虫工作状态了：
可以看到，爬虫的进度在Running里面，当爬虫爬完了，会在这个里面：
我们退到上级页面，从Log里面看，就发现有一条log文件。
23K的log文件，
OK，到此为止，如果你能跟着我的步骤一步一步做到这里，首先恭喜你，说明你很优秀，很有毅力，绝对是个编程的料，而且还有可能成为
Python大神
。
对于优秀的人而言，奖励是必须的，可以关注『皮克啪的铲屎官』，回复『服务器爬虫』，即可获得爬虫的源码，同时，可以多试试回复几次，说不定有惊喜呢。
谢谢阅读，欢迎大家关注我的博客或者公众号可领取全套资料：https://home.cnblogs.com/u/Python1234/ Python学习交流
欢迎关注我的千人交流学习答疑群：125240963
网友评论