python虚拟环境django&Scrapy virt

配置前先安装python3,参考: http://www.jianshu.com/p/097f5c19bf7e

virtualenv环境配置

1、手动建立:

第一步 建立虚拟环境
新建一个virtualenv 文件夹 cd 进去

mkdir python3env

敲下面命令

pip3 install virtualenv

2.创建虚拟环境: (-p 后面是python3的路径 )

linux :
virtualenv -p /usr/bin/python3 py3env
win :
\Users\J\AppData\Local\Programs\Python\Python35\python

3.激活虚拟环境

win:

C:\Users\J\Desktop\pachong\Virtual\python03\Scripts\activate.bat

Linux：
source py3env/bin/activate

4.安装Twisted

scrapy环境前要先安装Twisted 不然会报错

下载Twisted (复制下面命令)

wget https://files.pythonhosted.org/packages/a2/37/298f9547606c45d75aa9792369302cc63aa4bbcf7b5f607560180dd099d2/Twisted-17.9.0.tar.bz2

解压:
tar -xf Twisted-17.9.0.tar.bz2
进入目录:
cd Twisted-17.9.0
安装:
python3 setup.py install
成功:
Finished processing dependencies for Twisted==17.9.0

如果报错:

yum install python-devel    #Debin/Ubuntu
apt-get install python3-dev  #Centos/Fedora

5.安装django&Scrapy环境:

创建一个list_requirements.txt(用来批量安装包)

vim list_requirements.txt

把下面的包复制到 list_requirements.txt 并保存:

Django==1.11
olefile==0.44
Pillow==4.2.1
pytz==2017.2

asn1crypto==0.23.0
attrs==17.3.0
Automat==0.6.0
beautifulsoup4==4.6.0
bs4==0.0.1
certifi==2017.7.27.1
cffi==1.11.2
chardet==3.0.4
colorama==0.3.9
constantly==15.1.0
cryptography==2.1.3
cssselect==1.0.1
decorator==4.1.2
fake-useragent==0.1.8
hyperlink==17.3.1
idna==2.6
incremental==17.5.0
ipython==6.2.1
ipython-genutils==0.2.0
jedi==0.11.0
jsonpath==0.75
lxml==4.1.1
parsel==1.2.0
parso==0.1.0
pickleshare==0.7.4
prompt-toolkit==1.0.15
pyasn1==0.3.7
pyasn1-modules==0.1.5
pycparser==2.18
PyDispatcher==2.0.5
Pygments==2.2.0
PyMySQL==0.7.11
pyOpenSSL==17.3.0
queuelib==1.4.2
redis==2.10.6
requests==2.18.4
Scrapy==1.4.0
scrapy-redis==0.6.8
selenium==3.7.0
service-identity==17.0.0
simplegeneric==0.8.1
six==1.11.0
traitlets==4.3.2
urllib3==1.22
w3lib==1.18.0
wcwidth==0.1.7
zope.interface==4.4.3

安装环境

pip3 install -r py_list_requirements.txt

如果出现版本报错 ,更新一下pip3命令:

pip3 install --upgrade pip

抓包软件安装

chrome 中安装一个Proxy SwitchyOmega
并新建情景模式配置一个

1. 1. 启动Fiddler，打开菜单栏中的 Tools > Options，打开“Options”对话框。
2. 2. 对Fiddler进行设置：
   • o 打开工具栏->Tools->Fiddler Options->HTTPS，
   • o 选中Capture HTTPS CONNECTs (捕捉HTTPS连接)，
   • o 选中Decrypt HTTPS traffic（解密HTTPS通信）
   • o 另外我们要用Fiddler获取本机所有进程的HTTPS请求，所以中间的下拉菜单中选中...from all processes （从所有进程）
   • o 选中下方Ignore server certificate errors（忽略服务器证书错误）

3. 为 Fiddler 配置Windows信任这个根证书解决安全警告：Trust Root Certificate（受信任的根证书）。

4. Fiddler 主菜单 Tools -> Options…-> Connectionso 选中Allow remote computers to connect（允许远程连接）o Act as system proxy on startup（作为系统启动代理）

5. 重启Fiddler，使配置生效（这一步很重要，必须做）。