前言
之前拿到一份关于腾讯认证的python的全套项目实战脑图,于是历时花费一个月,终于是熬夜加点的给肝出来了,先用typora全部写出来,然后再导出成PDF文件,目前已经完全搞定。
总共划分内容为(七大模块):
一丶python语法必修
主要有三大模块内容,分别是:python语法编程丶python并发编程丶python数据库编程
1.python语法编程篇
包含:python3基础入门,列表与元组,字符串和字典,条件丶循环和其他语句,函数,面向对象,异常与文件处理八个模块
2.python并发编程篇
包含:网络编程,多线程,多进程,协程四个方面
- 网络编程就有:TCP/IP简介和网络设计模块
- 多线程有:线程和进程,使用线程,多线程全局变量,共享全局变量,互斥锁,死锁,线程池等
- 多进程有:进程状态,线程的创建,进程线程对比,通信和进程池创建
-
协程:协程的意,asyncio事件循环,await,异步爬虫,异步操作MySQL等
3.python数据库编程
概述MySQL丶Redis丶MongoDB三种数据库
- MySQL:基础丶进阶查询丶高级应用丶MySQL ORM框架-SQLAIchemy
- Redis:服务端和客户端基本操作命令,数据操作,python操作Redis
- MongoDB:database的基础命令,集合的基础命令,数据类型和操作,牵引,聚合操作,数据备份和回复,pymongo的操作
二丶机器学习
机器学习包含了两大模块,分别是机器学习算法和机器学习应用项目
1.机器学习算法
线性回归算法,K-Means算法,朴素贝叶斯,集成算法
2.机器学习应用项目
- 机器人开发环境
- ROS客户端
- 人工智能讲解
- 开发跟踪机器人
- 机器人建图和导航
- 智能安保机器人开发
- 神经网络应用
- 基于ROS开发多机器人
-
类脑计算和深度强化学习
三丶全栈开发体系
全栈开发包含了三大模块。分别是web网页开发,后端架构开发和性能调优
1.web网页开发
web网页开发分为:
- HTML
- CSS
- JQuery
-
vue
2.后端架构开发
本篇我将主要分为三个阶段来讲述后端架构开发,分别是
1.Django初级
- 安装Django以及创建
- 运行和创建Django应用程序
- Django视图-模板-模型
- Django管理员站点
2.Django进阶
- Django视图分类
- Django模板继承
- Django表单
- Django中间件和信号
3.Django高级
- Django性能优化
- Django安全性
3.性能调优
这方面内容比较多,分别从五个方向展开讲述,分别是存储层调优,celery异步任务,Django缓存机制,Nginx服务,Django对SDK开发以及Docker容器
1.存储层调优
- 数据库设计
- 数据库查询优化
- 缓存和数据库复制
2.celery异步任务
- 使用异步任务
- 设置任务超时时间
- 密集型任务的并行化
- 任务结果缓存
- 消息队列的优化
3.Django缓存机制
- 开启缓存
- 缓存键设计
- 使用缓存框架
- 缓存优化和清理机制
4.Nginx服务
- 合理配置
- 使用Nginx高级功能
- 监控和优化Nginx
5.Django对SDK开发
- 创建Django SDK项目
- 创建Django SDK应用程序和视图函数,路由
- 进行Django性能调优
6.Docker容器
- Docker容器基本知识
-
使用docker部署全栈应用和性能调优
四丶大数据体系
大数据体系本章从:数据分析,Hadoop,spark三大模块开始讲述
1.数据分析篇
1.Numpy篇
-
numpy函数介绍
-
numpy通用函数
-
5W字numpy图文讲解
2.pandas篇 -
panda核心介绍
-
pandas展示
-
panda基础
-
series和Index
-
pandas数据可视化
3.Matplotlib和数据可视化
- Matplotlib简介及图表窗口
- 图表基本元素
- Matplotlib图表的样式参数
-
Matplotlib刻度、图表输出丶注解
2.Hadoop篇
1.对Hadoop的认识
- Hadoop介绍,版本,特点,组成
- HDFS,YARN,MapReduce,三者的关系
- 大数据处理过程
2.Hadoop之配置java与hadoop环境
- 打开虚拟机连接xshell
- 进入到我们安装软件的文件夹
- 配置java的JDK的环境变量
- 解压缩Hadoop的压缩包
- 配置Hadoop的环境变量
3.Hadoop之文件复制scp和同步rsync
- scp介绍命令
- 拷贝文件
- rsync介绍命令
4.Hadoop之SSH免密登录
- SSH原理
- 配置SSH
5.Hadoop之集群配置和启动集群(完全分布式)
- 集群部署
- 配置文件
- 分发文件
- 启动集群
3.spark
- spark概述
- spark core
- spark sql
-
spark内核原理
五丶爬虫工程师
本篇内容容量大,主要从5个大模块上百个小知识点开启讲述:采集功底,自动化抓包,源码框架,爬虫集群部署和JavaScript逆向
1.采集功底专题篇
1.网络请求
- request源码解析,常用方法
- data/json/param参数传递
- 隧道代理使用,证书异常处理
- httpx源码解析和常用方法
- httpx上下文处理和异步请求
2.数据解析
- 正则表达式原理
- 分组和通用匹配
- 贪婪和非贪婪模式
- findall/match/search方法
- xpath语法学习
- xpath定位文章数据
- 基于bs4的环境搭建
- bs4节点-属性-层级选择器
- 数据入库
3.数据入库
- MySQL表结构设计
- MySQL数据写入规范
- MySQL动态传参和对接爬虫实战
- MongoDB数据写入规范
- MongoDB数据异常处理
- 爬虫对接MongoDB
-
JSON对象和数组以及数据编码
2.自动化抓包
自动化抓包分为:selenium采集,pyppeteer采集,Charles抓包,mitmproxy
- Selenium介绍
- Selenium安装
- Selenium基本使用和高级用法
- 抓包获取数据
- pyppeteer请求实战案例
- Charles替换CSS和JS文件
-
mitmproxy脚本编写- 数据截取-代理响应
3.框架源码专题
框架源码主要从4个方向讲述:scrapy框架,feadper,Scrapy_redis,,爬虫集群部署
1.scrapy框架
框架基本使用
- 安装Scrapy以及创建Scrapy项目
- 定义爬虫提取数据
- 提取数据定义数据存储
- 运行爬虫
scrapy功能学习
- Selector数据处理
- xpath选择器
- CSS选择器
- scrapy对接MySQL
- Scrapy对接MongoDB
- Scrapy文件存储
scrapy中间件
- Scrapy中的中间件类型
- 中间件的执行顺序以及编写和配置
- 常见的中间件应用场景
2.feapder
- feapder任务调度机制
- Feapder中间件实现异常处理
- 框架对接selenium实现自动化
- feapder分布式采集
3.爬虫集群部署
scrapyd框架
- 环境部署
- scrapyd API处理爬虫
- scrapyd多任务管理
gerapy部署爬虫
- gerapy环境搭建
- gerapy服务器部署
- gerapy打包框架项目
feapder部署
- feapder应用场景和原理
- feapder镜像拉取
- docker部署feapder部署环境
- feapder部署scrapy项目
4.JavaScript逆向
本系列将从九个方面讲解JavaScript逆向专题
1.浏览器调试
- js作用域
- 浏览器对象属性
- 浏览器控制台
2.国标哈希算法
- sha1算法
- sha256算法
- sha512算法
- md5
- hmac算法
- python和JavaScript实现
3.国标对称加密
- DES算法
- AES算法
- crypto-js模块使用
- pycryptodome
4. 国标非对称加密
- RAS算法原理
- 非对称特征
- JavaScript算法还原
- ras模块
- jesencrypt
5.webpack模块打包
- webpack打包原理
- webpack构造形式
- 全局导出加密函数
6.JS混淆
- JavaScript压缩 混淆原理
- OB混淆特性
- OB混淆JavaScript
7.cookie反爬处理
- cookie加解密原理
- cookie和session机制
- cookie hook技巧
- acw_sc_v2调试
8.AST抽象语法树
- AST 技术介绍
- 字符串和编码还原
- evaluate方法学习
- JavaScript实战解混淆
9.JS安全产品攻防
- 瑞数
- acw_sc_v2
六丶APP逆向
APP逆向专题主要讲解:java语法编程,NDK,HOOK和APP RPC
1.java语法编程
- java语法搭建
- java基础语法和数据类型
- java控制流程
- java数据类型
- java数据结构,面向对象
- java继承关系链
- java包的概念
2.NDK开发
- NDK数据类型
- java反射和NDK结合
-
JNI调用java函数对象和访问java方法和类
3.hook专题
- Frida Hook
- Frida构造数组-对象
- Frida与脱壳
- Frida Hook壳与插件dex
- Frida编译源码
- Frida检测反调试
- APP脱壳
-
smail语法
4.APP RPC
- frida rpc插件编写
- 使用frida远程调用java代码
- sekiro框架源码拆解
七丶爬虫实战
第七章主要是一些爬虫实战的视频
网友评论