今天我们通过爬取天气,出行路线等网站,制作一个简单的接口页面,因此能查询到我们需要的数据.
一,新建一个虚拟环境 mkvirtualenv (环境的名字)
二,安装我们需要的包 pip install -r (文件的名字) 我已经把文件保存在桌面了
absl-py==0.6.1
amqp==2.3.2
asn1crypto==0.24.0
astor==0.7.1
billiard==3.5.0.4
celery==4.2.1
certifi==2019.3.9
cffi==1.11.5
chardet==3.0.4
cryptography==2.3
cycler==0.10.0
Django==1.11
django-ckeditor==5.6.1
django-js-asset==1.1.0
django-ranged-response==0.2.0
django-simple-captcha==0.5.9
django-tinymce==2.7.0
djangorestframework==3.9.0
gast==0.2.0
grpcio==1.17.1
h5py==2.9.0
idna==2.7
Keras-Applications==1.0.6
Keras-Preprocessing==1.0.5
kiwisolver==1.0.1
kombu==4.2.1
lxml==4.3.0
Markdown==3.0.1
matplotlib==3.0.0
nltk==3.4
numpy==1.15.2
Pillow==5.2.0
protobuf==3.6.1
pycparser==2.18
PyMySQL==0.9.2
pyparsing==2.2.2
python-dateutil==2.7.3
pytz==2018.5
requests==2.21.0
singledispatch==3.4.0.3
six==1.11.0
tensorboard==1.12.1
tensorflow==1.12.0
termcolor==1.1.0
urllib3==1.24.1
vine==1.1.4
Werkzeug==0.14.1
xlrd==1.1.0
三,我们就可以在pycharm里创建一个自己的项目
首先这段代码,向我们展示的是首页的代码,里面有五个输入框,通过POST请求的方法,获取数据,然后you
三个搜索的按钮,通过接口的方式,与我们爬取的数据相连接,这样,我们就会把爬取的数据返回到前段的页面
{% 'searchyy' %} 这个就是跳转的页面,我们在urls.py里让它们连接起来
我们用的是自带的as_view()方法
接下来我们在urls.py里,导入我们在views.py里写的接口,第二个图
然后我们在views.py里引用我们需要的文件以及包
接着在这里写爬虫代码,我们选择了三个网站,分别爬取城市,天气,以及路线
如果爬虫没有成功的,我们还会返回一个H5页面,以至于不会报错
别忘记在setting.py里设置数据库,写完需要的数据,就可以生成表,从表里查询数据,再次查询的时候,我们要把表里的数据删除
最后这个项目我们就完成了,给你们看一下最后显示的页面
网友评论