1.py之虚拟环境搭建以及pip的安装
进入到虚拟环境目录 打开cmd(bash) 然后执行 python -m venv test(目录路径)
生成目录如下:
进入虚拟环境 cd Script --> activate.bat(bash中用./activate.bat)
使用模块pip安装bs python -m pip install beautifulsoup4
关于基础语法 有空再更
2.使用bs进行网络爬虫:
1.获取网页保存到本地(可以直接抓取网页 主要是对文件存取操作进行熟悉),这边写入和读取都有文本和字节2种方式
open方法中,第二个参数默认rt 即以文本的方式读取 添加参数wt即以文本的方式写入,wb以字节方式写入以此类推,代码结果如下:
2.获取到网页内容后就是分析读取,使用bs可以很方便的进行读取:
3.使用pymysql进行数据存储:
1.加入pymysql拓展 进入虚拟环境后 python -m pip install PyMYSQL
2.创建连接 使用游标查询输出
4.入手orm框架 sqlalchemy:
进入虚拟环境 python -m pip install sqlalchemy
py连接数据库需要pymysql或者其他模块
sqlachemy是通过创建引擎,将连接引擎绑定到会话中来完成的
然后需要创建实体类 类似javabean来建立表与实体之间的映射关系
1.可以通过实体类需要注入base
2.通过__tablename__来绑定表名
3.可以通过Column的第一个参数来将实体类与表字段不同名称绑定
使用sqlalchemy来进行增删改查:
网友评论