windows 下安装python 爬虫

1.在网上下载python3.6 64位的安装包可执行文件， 双击安装（一定要是64位的，后面安装tensorflow 需要64位）

2.配置环境变量， 找到python.exe 和 pip.exe两个文件的路径，添加到环境变量中

3.在pycharm中选择已经配置好的环境变量， 百度解决

4.下载https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

Twisted-18.9.0-cp36-cp36m-win32.whl

Twisted-18.9.0-cp36-cp36m-win_amd64.whl

pip install Twisted-18.9.0-cp36-cp36m-win_amd64.whl

pip install scipy-1.1.0-cp36-cp36m-win_amd64.whl

参考https://www.cnblogs.com/qxfan/p/8566945.html

5.在cmd命令行中输入pip install scrapy 安装scrapy框架，可能报错，百度解决

6.打开我发的项目， 看看各个文件中有哪些导入的包下面有红线， 有红线的包需要通过pip install 包名进行安装

7.运行项目的话是在下方的Terminal里面输入scrapy crawl akc  (akc)是我这个爬虫的名字

或者打开我自己创建的run_akc 文件 然后右键run

pip install PyMySQL

pip install lxml

pip install bs4

pip install cryptography --force-reinstall

pip install UserAgent

pip install fake-useragent

pip install pywin32

pip install bloomfilter4py3

pip install requests

pip install pandas

python -m pip install --upgrade pip

pip install numpy 

pip install matplotlib

https://www.microsoft.com/en-us/download/confirmation.aspx?id=53587

安装 vc_redist.x64.exe

8.项目的各个文件的作用百度上面都有， spiders文件夹里面的文件是自己创建的， 解析页面逻辑的代码都写在了spiders下面的文件夹里面， 一个文件就是一个爬虫项目

---

====================

pip list

Package Version

---------------- ---------

APScheduler      3.2.0   

asn1crypto      0.24.0 

atomicwrites    1.2.1   

attrs            18.1.0 

Automat          0.7.0   

beautifulsoup4  4.6.3   

bloom-filter    1.3     

BloomFilter      0.1.0   

bloomfilter4py3  1.1.1   

boos            0.5.3   

boost            0.1     

boto            2.49.0 

boto3            1.9.22 

botocore        1.12.22 

bs4              0.0.1   

bz2file          0.98   

certifi          2018.8.24

cffi            1.11.5 

chardet          3.0.4   

click            6.7     

colorama        0.3.9   

constantly      15.1.0 

cryptography    2.3.1   

cssselect        1.0.3   

decorator        4.3.0   

Django          2.1.2   

docutils        0.14   

fake-useragent  0.1.10 

Flask            0.12   

gensim          3.6.0   

http-ece        1.0.5   

hyperlink        18.0.0 

idna            2.7     

incremental      17.5.0 

itsdangerous    0.24   

Jinja2          2.10   

jmespath        0.9.3   

lxml            4.2.1   

MarkupSafe      1.0     

Mastodon.py      1.3.1   

more-itertools  4.3.0   

nibabel          2.3.0   

nltk            3.3     

numpy            1.15.1 

pandas          0.23.4 

parsel          1.5.0   

pdfminer.six    20170720

pdfminer3k      1.3.1   

Pillow          5.2.0   

pip              18.0   

plac            1.0.0   

pluggy          0.7.1   

ply              3.11   

py              1.6.0   

py3bitlist      1.1.3   

pyasn1          0.4.4   

pyasn1-modules  0.2.2   

pybloomfilter    1.0     

pycparser        2.18   

pycryptodome    3.6.6   

PyDispatcher    2.0.5   

PyExecJS        1.5.1   

PyHamcrest      1.9.0   

pymongo          3.7.1   

PyMySQL          0.9.2   

pyOpenSSL        18.0.0 

pypiwin32        223     

pytest          3.7.4   

python-dateutil  2.7.3   

pytz            2018.5 

pywin32          223     

queuelib        1.5.0   

redis            2.10.6 

requests        2.12.4 

s3transfer      0.1.13 

scipy            1.1.0   

Scrapy          1.5.1   

scrapy-redis    0.6.8   

scrapy-splash    0.7.2   

selenium        3.14.0 

service-identity 17.0.0 

setuptools      28.8.0 

six              1.11.0 

smart-open      1.7.1   

SQLAlchemy      1.2.11 

Twisted          18.7.0 

tzlocal          1.5.1   

unicodecsv      0.14.1 

urllib3          1.23   

w3lib            1.19.0 

Wand            0.4.4   

Werkzeug        0.11.15 

xlrd            1.1.0   

xlwt            1.3.0   

zope.interface  4.5.0