0、关于输入

jupyter中可以写成：

也可以写成：

但是多对双引号或者多对单引号使用时，会出错

可以用\作为转义字符

1、求两个列表的合集

2、从元组中取值

3、关于控制流（94课）

（1）if

只要有一个执行了，if语句就会自动跳出

if 里面也可以直接嵌套 if ，但是要注意缩进

（2）循环语句--while

a.1.直接跳出整个循环--break

它只是跳出整个循环

结果就是：只会输出1-5的 count 的值

a.2.只是跳过当前循环这一步--continue

这里的结果就是：会输出除了 5 之外的1-10的 count 的值

（3）循环语句--for

（4）range

a.1.字典被用于for循环中

（5）往列表中加入一系列的值

第一种方法：

第二种办法：更pythonic的方式

两种结果是一样的

插入偶数

（6）从字典里取一些值

4、python函数

当某个地方需要复用时，需要用到函数

（1）print和return的区别

print只是一个输出的值，不会把指赋给变量

（2）参数

函数中也可以使用第三个参数，例如充当一个四则运算器

利用函数做一个统计的定义

另一种比较python的写法：

（2）map函数：map(函数，一个列表)

map也可以用内置函数：map(内置函数，一个列表)

map也可以套双层：map(内置函数,map(func,一个列表))

（3）匿名函数（可与map函数配合使用）

lambda x:x*x:第一个 x是输入的，输出的则是：x*x

它可以省去中间的很多逻辑，只管输入和输出

5、导入包

一个模块（包）里含有很多个可以直接用的函数，利用import导入这个模块

还有很多第三方包

csv、math 数学、datetime 时间、pandas、numpy

也可在网上关键字搜索和练习：python 元素次数

6、numpy、pandas

（1）numpy

numpy的数据类型是：int32、float64等，是C语言专属的，和一般的类型不太一样

（2）pandas

pandas 有两种数据类型：

series：类似于array数组，它是一维的

dataframe：是二维的，更加类似于Excel表

a-1 pandas--series

-1- 定义：近似数组的一维结构

-2- 切片

-3- 直接更改值

-4- 字典和series数组互换

-5- 格式转换

series和dataframe里面的数据类型是统一的

a-2 pandas--dataframe

-1- 字典转换成dataframe结构

-2- series转换成数据框

-3- 数据框的概述

-4- 取数据框的行的切片

-5- 多列切片

-6- 修改某列的值

-7- 修改索引

-8- 逻辑判断

-9- 多条件判断-query的使用

-10- 列的计算

-11- .iloc  .loc方法

7、读取文件后的一系列操作

（1）读取文件

（2）修改字段名

（3）查看数据

（4）更改数据类型

（5）多重切片

类似于前面讲dataframe的时候的内容

8、pandas的高阶函数

（1）行列转置--用于矩阵运算

（2）排序

（3）排名

（4）查多少个唯一值

（5）描述

（6）常用的函数

（7）分段：把某字段的某些范围的分为一组

（8）聚合函数

-1- 分组

（9）复杂计算--循环

例如，计算不同城市之间最大值和最小值的差值

当遇到这样的要求的时候，需要使用到循环语句

9、pandas多表关联操作

pandas中有三种关联方法：concat（堆叠），join（用于索引），merge（根据键值，用得最多）

（1）merge

基本用法：在数据框下调用

另一种用法：

（2）join

针对索引，可能会出问题；如果是时间序列的数据框，join会比较方便（左右拼接在一起）

（3）concat

堆叠，相当于sql里的union，把两张表格上下拼接在一起

应用场景：

现有各个月份的销售明细表，销售明细表的字段肯定是一样的，所以这时候用concat进行拼接，合并成一张大表，然后再对这张大表进行分析

10、多重索引

（1）groupby多重索引

（2）多重索引的变化使用

11、预处理函数

问题：

比如数据框里的某个字段中存储的是：[" "," "," "] 这样的数据，这种数据在数据库里的话是不可用的，怎么去除方括号和单引号呢？

str方法里面还有很多其他的函数

12、数据处理

（1）处理空值

Tips：

在python里有两种空值，一种是Null，另一种是np.NaN。一般没多大区别，但建议用后者，后者是C语言类型的空值

（2）删除重复值

13、高级函数--apply

（1）用法1

既可以针对series，也可以针对dataframe

把一个函数应用到所有列（行）上

上面最后一种方法也可以得到想要的结果，但这里要解释一下：

1.apply函数里面是有参数的，默认的是按列应用，也就是axis=0;这里axis=1 表示按行应用函数

2.直接在数据框中去调用apply时，表示针对数据框的整个都去应用（这里是按列），但是在定义函数里就要去指明是哪一列。这里是按行，但是每行里面有很多列，所以要指明哪一列，所以就用了x.avg. 也可以按下面方法转化一下。

（2）apply应用到聚合函数

新的需求：求不同城市下面薪资排名前五的数据

新的需求：如果要求返回的前几是由参数决定的呢？

（3）agg函数

agg和apply的区别

1.agg后面不能引用func函数，写成agg('func')

2.agg应用了其他聚合函数后，就变成了上海对应的是一行，北京对应的是一行；而apply则是，上海对应的有多行，北京对应的有多行

14、数据透视表

问题：要对某个值进行某种统计计算，比如对上面的workyear的平均值求平均，或者对他的top求sum

15、ETL--链接数据库

（1）步骤

a.1.最好建议用pandas链接数据库，先安装一个包，方法如下图

遇到找不到安装包时，有时候可能会出想找不到，则有可能是安装路径改变了

遇到两个版本的python，可以写成pip3

a.2.安装好包之后正常导入一下，就可以使用了

host: 主机位置，如果是本机，就输入：127.0.0.1；或者直接用localhost；在工作中使用，内网或者其他的，就要问网管

user: 账户名

password：密码

db：数据库名称

port：端口，一般是磨人的

charset：文本编码，根据自己的情况，如果是gbk，就写gbk

a.3.接下来就是，创建游标

a.4.注意：打开了游标之后，一定要关闭游标

（2）怎样连接数据库后生成可用的数据框-pandas

筛选数据可以在df这里切片，也可以在SQL语句处用where筛选，就看电脑性能了，前者是占用本地资源，后者是在SQL里解决占用sql服务器的资源

16、ETL--写入数据库

也可以用下面的代码来执行

注意：

1. 利用上面的方法，写入数据库的问题就是，表的属性会和其他表不一样，最好还是，先在数据库里新建一张表，设置好字段，然后再写入到这张表中

2. 如果要在写入到这个表上数据，可以比原表的列少，它会自动填充空值，但是不能比原表字段多

直接写入csv

17、用jupyter写数据报告

在jupyter里用Markdown ，写一个简单的数据报告

可以百度搜索：Markdown 语法

18、绘图

（1）各种图形的方法

折线图：plot

柱形图：bar

直方图：hist

箱型图：box

密度图：kde

面积图：area

散点图：scatter

饼图：pie

散点图矩阵：scatter_matrix

（2）柱形图绘制

a. 绘制堆积柱形图

问题：怎样变成百分比堆积柱形图

b. 绘制水平轴的堆积柱形图

（3）直方图

怎样绘制多重直方图

比如表示不同教育程度的薪资的直方图

（4）箱线图

还有一种简单的方法

（5）密度图

（6）面积图

（7）散点图

主要是x和y

散点图矩阵

这里会有一个问题：没办法看出三者之间的关系，以下方法可以直接用矩阵展现出来

应用场景：RFM的绘图方式，好用率超过powerbi和Excel

（8）饼图

适用于：分类在10个以下，而且有一个分类占比比较大

另外

还有一些pandas的绘图法，写法不太一样而已

19、绘图进阶

可以解决前面在图形里无法显示中文的问题

（1）绘图元素

表示方法

整个画布用：figure表示

标题：title

数据：data

X轴：

x轴刻度：xtick

x轴标签：xlabel

y轴

（2）代码

去除图表上方的内存地址

tips：

用matplotlib去绘图，其实逻辑就是相当于在一张画布上去叠加每个图层，图层上放的就是图表的各个元素。

问题：如果有多条折线，那再用legend挨个命名，岂不是很麻烦？

练习

不同城市下的薪资水平的散点图

20、绘制子图

会用的方法就是：plt.subplot(几行，几列，绘制第几张子图）

关于这个占位，其实可以灵活的运用，而且不光是把同类型的图表组合，也可以把不同类型的图表组合。

下图举了两个例子

21、seaborn包-高级图表绘制

各种图表表示方法

分布：

distplot：概率分布图 （参数kde=false，就变成了密度图）

kdeplot：概率密度图  （参数kde=false，就变成了分布图）

joinplot：联合密度图  （相当于：散点图的上方和右边有个直方图）

pairplot：多变量图  （散点图矩阵）

分类：

boxplots：箱线图

    参数 hue：加一个对比

violinplots：提琴图

    类似于箱线图，左右是曲线，表示的密度，参数split=true，会有个对比

barplot：柱形图

factorplot：因子图

    plt.figure() 会失效，factorplot 里自带一个size参数；

    kind='box"则会绘制出箱线图，也就是kind参数是可以变的

    参数 col_wrap：表示把画布分成几列，列封装

    数据类型：6-8个时适用于

线性：

lmplot：回归图

heatmap：热力图

---

这些天又把python学了一遍，更有收获了，课程很简单，学着会上瘾的。