美文网首页2023学python
历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了

历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了

作者: 天天玩python | 来源:发表于2023-06-15 16:28 被阅读0次

    前言

    之前拿到一份关于腾讯认证的python的全套项目实战脑图,于是历时花费一个月,终于是熬夜加点的给肝出来了,先用typora全部写出来,然后再导出成PDF文件,目前已经完全搞定。

    总共划分内容为(七大模块):

    一丶python语法必修

    主要有三大模块内容,分别是:python语法编程丶python并发编程丶python数据库编程

    1.python语法编程篇

    包含:python3基础入门,列表与元组,字符串和字典,条件丶循环和其他语句,函数,面向对象,异常与文件处理八个模块

    2.python并发编程篇

    包含:网络编程,多线程,多进程,协程四个方面

    • 网络编程就有:TCP/IP简介和网络设计模块
    • 多线程有:线程和进程,使用线程,多线程全局变量,共享全局变量,互斥锁,死锁,线程池等
    • 多进程有:进程状态,线程的创建,进程线程对比,通信和进程池创建
    • 协程:协程的意,asyncio事件循环,await,异步爬虫,异步操作MySQL等


    3.python数据库编程

    概述MySQL丶Redis丶MongoDB三种数据库


    • MySQL:基础丶进阶查询丶高级应用丶MySQL ORM框架-SQLAIchemy
    • Redis:服务端和客户端基本操作命令,数据操作,python操作Redis
    • MongoDB:database的基础命令,集合的基础命令,数据类型和操作,牵引,聚合操作,数据备份和回复,pymongo的操作

    二丶机器学习

    机器学习包含了两大模块,分别是机器学习算法和机器学习应用项目


    1.机器学习算法

    线性回归算法,K-Means算法,朴素贝叶斯,集成算法


    2.机器学习应用项目

    • 机器人开发环境
    • ROS客户端
    • 人工智能讲解
    • 开发跟踪机器人
    • 机器人建图和导航
    • 智能安保机器人开发
    • 神经网络应用
    • 基于ROS开发多机器人
    • 类脑计算和深度强化学习


    三丶全栈开发体系

    全栈开发包含了三大模块。分别是web网页开发,后端架构开发和性能调优


    1.web网页开发

    web网页开发分为

    • HTML
    • CSS
    • JQuery
    • vue


    2.后端架构开发

    本篇我将主要分为三个阶段来讲述后端架构开发,分别是
    1.Django初级

    • 安装Django以及创建
    • 运行和创建Django应用程序
    • Django视图-模板-模型
    • Django管理员站点

    2.Django进阶

    • Django视图分类
    • Django模板继承
    • Django表单
    • Django中间件和信号

    3.Django高级

    • Django性能优化
    • Django安全性

    3.性能调优

    这方面内容比较多,分别从五个方向展开讲述,分别是存储层调优,celery异步任务,Django缓存机制,Nginx服务,Django对SDK开发以及Docker容器


    1.存储层调优
    • 数据库设计
    • 数据库查询优化
    • 缓存和数据库复制

    2.celery异步任务

    • 使用异步任务
    • 设置任务超时时间
    • 密集型任务的并行化
    • 任务结果缓存
    • 消息队列的优化

    3.Django缓存机制

    • 开启缓存
    • 缓存键设计
    • 使用缓存框架
    • 缓存优化和清理机制

    4.Nginx服务

    • 合理配置
    • 使用Nginx高级功能
    • 监控和优化Nginx

    5.Django对SDK开发

    • 创建Django SDK项目
    • 创建Django SDK应用程序和视图函数,路由
    • 进行Django性能调优

    6.Docker容器

    • Docker容器基本知识
    • 使用docker部署全栈应用和性能调优


    四丶大数据体系

    大数据体系本章从:数据分析,Hadoop,spark三大模块开始讲述


    1.数据分析篇


    1.Numpy篇
    • numpy函数介绍

    • numpy通用函数

    • 5W字numpy图文讲解


      2.pandas篇
    • panda核心介绍

    • pandas展示

    • panda基础

    • series和Index

    • pandas数据可视化


    3.Matplotlib和数据可视化

    • Matplotlib简介及图表窗口
    • 图表基本元素
    • Matplotlib图表的样式参数
    • Matplotlib刻度、图表输出丶注解


    2.Hadoop篇

    1.对Hadoop的认识

    • Hadoop介绍,版本,特点,组成
    • HDFS,YARN,MapReduce,三者的关系
    • 大数据处理过程

    2.Hadoop之配置java与hadoop环境

    • 打开虚拟机连接xshell
    • 进入到我们安装软件的文件夹
    • 配置java的JDK的环境变量
    • 解压缩Hadoop的压缩包
    • 配置Hadoop的环境变量

    3.Hadoop之文件复制scp和同步rsync

    • scp介绍命令
    • 拷贝文件
    • rsync介绍命令

    4.Hadoop之SSH免密登录

    • SSH原理
    • 配置SSH

    5.Hadoop之集群配置和启动集群(完全分布式)

    • 集群部署
    • 配置文件
    • 分发文件
    • 启动集群

    3.spark

    • spark概述
    • spark core
    • spark sql
    • spark内核原理


    五丶爬虫工程师

    本篇内容容量大,主要从5个大模块上百个小知识点开启讲述:采集功底,自动化抓包,源码框架,爬虫集群部署和JavaScript逆向

    1.采集功底专题篇


    1.网络请求
    • request源码解析,常用方法
    • data/json/param参数传递
    • 隧道代理使用,证书异常处理
    • httpx源码解析和常用方法
    • httpx上下文处理和异步请求

    2.数据解析

    • 正则表达式原理
    • 分组和通用匹配
    • 贪婪和非贪婪模式
    • findall/match/search方法
    • xpath语法学习
    • xpath定位文章数据
    • 基于bs4的环境搭建
    • bs4节点-属性-层级选择器
    • 数据入库

    3.数据入库

    • MySQL表结构设计
    • MySQL数据写入规范
    • MySQL动态传参和对接爬虫实战
    • MongoDB数据写入规范
    • MongoDB数据异常处理
    • 爬虫对接MongoDB
    • JSON对象和数组以及数据编码


    2.自动化抓包

    自动化抓包分为:selenium采集,pyppeteer采集,Charles抓包,mitmproxy

    • Selenium介绍
    • Selenium安装
    • Selenium基本使用和高级用法
    • 抓包获取数据
    • pyppeteer请求实战案例
    • Charles替换CSS和JS文件
    • mitmproxy脚本编写- 数据截取-代理响应


    3.框架源码专题

    框架源码主要从4个方向讲述:scrapy框架,feadper,Scrapy_redis,,爬虫集群部署

    1.scrapy框架

    框架基本使用

    • 安装Scrapy以及创建Scrapy项目
    • 定义爬虫提取数据
    • 提取数据定义数据存储
    • 运行爬虫

    scrapy功能学习

    • Selector数据处理
    • xpath选择器
    • CSS选择器
    • scrapy对接MySQL
    • Scrapy对接MongoDB
    • Scrapy文件存储

    scrapy中间件

    • Scrapy中的中间件类型
    • 中间件的执行顺序以及编写和配置
    • 常见的中间件应用场景

    2.feapder

    • feapder任务调度机制
    • Feapder中间件实现异常处理
    • 框架对接selenium实现自动化
    • feapder分布式采集

    3.爬虫集群部署

    scrapyd框架

    • 环境部署
    • scrapyd API处理爬虫
    • scrapyd多任务管理

    gerapy部署爬虫

    • gerapy环境搭建
    • gerapy服务器部署
    • gerapy打包框架项目

    feapder部署

    • feapder应用场景和原理
    • feapder镜像拉取
    • docker部署feapder部署环境
    • feapder部署scrapy项目

    4.JavaScript逆向


    本系列将从九个方面讲解JavaScript逆向专题
    1.浏览器调试
    • js作用域
    • 浏览器对象属性
    • 浏览器控制台

    2.国标哈希算法

    • sha1算法
    • sha256算法
    • sha512算法
    • md5
    • hmac算法
    • python和JavaScript实现

    3.国标对称加密

    • DES算法
    • AES算法
    • crypto-js模块使用
    • pycryptodome

    4. 国标非对称加密

    • RAS算法原理
    • 非对称特征
    • JavaScript算法还原
    • ras模块
    • jesencrypt

    5.webpack模块打包

    • webpack打包原理
    • webpack构造形式
    • 全局导出加密函数

    6.JS混淆

    • JavaScript压缩 混淆原理
    • OB混淆特性
    • OB混淆JavaScript

    7.cookie反爬处理

    • cookie加解密原理
    • cookie和session机制
    • cookie hook技巧
    • acw_sc_v2调试

    8.AST抽象语法树

    • AST 技术介绍
    • 字符串和编码还原
    • evaluate方法学习
    • JavaScript实战解混淆

    9.JS安全产品攻防

    • 瑞数
    • acw_sc_v2

    六丶APP逆向

    APP逆向专题主要讲解:java语法编程,NDK,HOOK和APP RPC

    1.java语法编程

    • java语法搭建
    • java基础语法和数据类型
    • java控制流程
    • java数据类型
    • java数据结构,面向对象
    • java继承关系链
    • java包的概念

    2.NDK开发

    • NDK数据类型
    • java反射和NDK结合
    • JNI调用java函数对象和访问java方法和类


    3.hook专题

    • Frida Hook
    • Frida构造数组-对象
    • Frida与脱壳
    • Frida Hook壳与插件dex
    • Frida编译源码
    • Frida检测反调试
    • APP脱壳
    • smail语法


    4.APP RPC

    • frida rpc插件编写
    • 使用frida远程调用java代码
    • sekiro框架源码拆解

    七丶爬虫实战

    第七章主要是一些爬虫实战的视频


    相关文章

      网友评论

        本文标题:历时一个月,腾讯认证python全套项目实战笔记,终于整理出来了

        本文链接:https://www.haomeiwen.com/subject/fdjkydtx.html