美文网首页
第一章 开发环境配置

第一章 开发环境配置

作者: 爱吃糖爱喝汤 | 来源:发表于2018-11-15 20:07 被阅读0次

anaconda

清华镜像:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/?C=M&O=A

环境变量:https://blog.csdn.net/baidu_32542573/article/details/79361456

补充知识:
https://www.jianshu.com/p/eaee1fadc1e9
https://www.cnblogs.com/zhusleep/p/5616099.html

chromedriver

chrome的的对应版本:https://blog.csdn.net/huilan_same/article/details/51896672

anaconda 下Scripts路径:C:\ProgramData\Anaconda3\Scripts

geckodriver

火狐浏览器驱动
下载地址:https://github.com/mozilla/geckodriver/releases/

phantomjs

下载地址:http://phantomjs.org/download.html
解压,把bin中的exe文件放入scripts中,或者直接把bin文件放入。
selenium 已经不支持:https://blog.csdn.net/qq_30242609/article/details/79323963

pycharm

http://idea.lanyus.com/

aiohttp

lxml

下载地址:https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
cp代表python版本
打开cmd,进入到lxml下载的文件夹,运行如下命令:
ana
提示:You should consider upgrading via the 'python -m pip install --upgrade pip' command.
需要升级pip
查看pip版本:pip show pip
提示:You are using pip version 10.0.1, however version 18.1 is available.
升级:python -m pip install --upgrade pip
无法升级
anaconda prompt 拒绝访问
管理权限运行 升级成功

beautiful soup

pip install beautifulsoup4

代码:

from bs4 import BeautifulSoup
import lxml
soup = BeautifulSoup('<p>hello</p>', 'lxml')
print(soup.p.string)

报错

bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser library?

明明

Requirement already satisfied: lxml in c:\programdata\anaconda3\lib\site-packages (4.2.5)

最终找到两种解决方法:
https://www.cnblogs.com/zrdm/p/8490767.html
https://blog.csdn.net/qq_16546829/article/details/79405605

pyquery

tesserocr

先安装tesseract
下载地址:https://digi.bib.uni-mannheim.de/tesseract/
pip install tesserocr pillow
import tesserocr
报错
应对方法:

下载whi文件

下载地址:[https://github.com/simonflueckiger/tesserocr-windows_build/releases)
添加环境变量:Tesseract-OCR目录

 tesseract image.png result -l eng && cat result.txt 

报错
去掉 “&& cat result.txt”

from PIL import Image
报错:ImportError: DLL load failed: 找不到指定的模块。
卸载重新安装
pip uninstall Pillow
pip install Pillow

image = Image.open('2.png')
RuntimeError: Failed to init API, possibly an invalid tessdata path: D:\ProgramData\Anaconda3\

分析:因为没有配置全局变量,无法跨盘执行数据转换,这里我们在环境变量那增加一个配置信息

增加一个TESSDATA_PREFIX变量名,变量值还是我的安装路径C:\Program Files (x86)\Tesseract-OCR\tessdata

RuntimeError: Failed to init API, possibly an invalid tessdata path: C:\Program Files (x86)\Tesseract-OCR\

卸载重新安装Tesseract还是不行,我用尽了所有网上的方法。
最后自己发现,对应版本不对tesserocr最新更新对应的是3.05.02,而上一个更新对应的竟然是4.0,卸载安装3.05解决。

数据库

关系型数据库:SQLite,MySQL、SQL。表现形式为表格。
非关系型数据库:MongoDB。表现形式是键值对。

MySQL

官网:https://www.mysql.com/
下载教程:https://www.jianshu.com/p/2337d8fd0863
安装教程:http://www.cnblogs.com/zlslch/p/6961598.html

PyMySQL

pip install pymysql

Flask

pip install flask

Tornado

pip install tornado

Charles

下载网址:https://www.charlesproxy.com/latest-release/download.do

mitmproxy

pip install mitmproxy

Appium

下载地址:https://github.com/appium/appium-desktop/releases
https://nodejs.org/en/download/
教程:https://www.runoob.com/nodejs/nodejs-install-setup.html
https://www.runoob.com/nodejs/nodejs-install-setup.html
npm install -g appium
http://www.android-studio.org/index.php/download

pyspider

pip install pyspider

Scrapy

conda install Scrapy

Scrapy-Splash

Scrapy-Redis

下载地址:https://oomake.com/download/docker-windows

Scrapyd

Scrapyd-Client

Scrapyd API

pip install python-scrapyd-api

Scrapyrt

Gerapy

相关文章

网友评论

      本文标题:第一章 开发环境配置

      本文链接:https://www.haomeiwen.com/subject/chhyfqtx.html