0、关于输入
jupyter中可以写成:
也可以写成:
但是多对双引号或者多对单引号使用时,会出错
可以用\作为转义字符
1、求两个列表的合集
2、从元组中取值
3、关于控制流(94课)
(1)if
只要有一个执行了,if语句就会自动跳出
if 里面也可以直接嵌套 if ,但是要注意缩进
(2)循环语句--while
a.1.直接跳出整个循环--break
它只是跳出整个循环
结果就是:只会输出1-5的 count 的值
a.2.只是跳过当前循环这一步--continue
这里的结果就是:会输出除了 5 之外的1-10的 count 的值
(3)循环语句--for
(4)range
a.1.字典被用于for循环中
(5)往列表中加入一系列的值
第一种方法:
第二种办法:更pythonic的方式
两种结果是一样的
插入偶数
(6)从字典里取一些值
4、python函数
当某个地方需要复用时,需要用到函数
(1)print和return的区别
print只是一个输出的值,不会把指赋给变量
(2)参数
函数中也可以使用第三个参数,例如充当一个四则运算器
利用函数做一个统计的定义
另一种比较python的写法:
(2)map函数:map(函数,一个列表)
map也可以用内置函数:map(内置函数,一个列表)
map也可以套双层:map(内置函数,map(func,一个列表))
(3)匿名函数(可与map函数配合使用)
lambda x:x*x:第一个 x是输入的,输出的则是:x*x
它可以省去中间的很多逻辑,只管输入和输出
5、导入包
一个模块(包)里含有很多个可以直接用的函数,利用import导入这个模块
还有很多第三方包
csv、math 数学、datetime 时间、pandas、numpy
也可在网上关键字搜索和练习:python 元素次数
6、numpy、pandas
(1)numpy
numpy的数据类型是:int32、float64等,是C语言专属的,和一般的类型不太一样
(2)pandas
pandas 有两种数据类型:
series:类似于array数组,它是一维的
dataframe:是二维的,更加类似于Excel表
a-1 pandas--series
-1- 定义:近似数组的一维结构
-2- 切片
-3- 直接更改值
-4- 字典和series数组互换
-5- 格式转换
series和dataframe里面的数据类型是统一的
a-2 pandas--dataframe
-1- 字典转换成dataframe结构
-2- series转换成数据框
-3- 数据框的概述
-4- 取数据框的行的切片
-5- 多列切片
-6- 修改某列的值
-7- 修改索引
-8- 逻辑判断
-9- 多条件判断-query的使用
-10- 列的计算
-11- .iloc .loc方法
7、读取文件后的一系列操作
(1)读取文件
(2)修改字段名
(3)查看数据
(4)更改数据类型
(5)多重切片
类似于前面讲dataframe的时候的内容
8、pandas的高阶函数
(1)行列转置--用于矩阵运算
(2)排序
(3)排名
(4)查多少个唯一值
(5)描述
(6)常用的函数
(7)分段:把某字段的某些范围的分为一组
(8)聚合函数
-1- 分组
(9)复杂计算--循环
例如,计算不同城市之间最大值和最小值的差值
当遇到这样的要求的时候,需要使用到循环语句
9、pandas多表关联操作
pandas中有三种关联方法:concat(堆叠),join(用于索引),merge(根据键值,用得最多)
(1)merge
基本用法:在数据框下调用
另一种用法:
(2)join
针对索引,可能会出问题;如果是时间序列的数据框,join会比较方便(左右拼接在一起)
(3)concat
堆叠,相当于sql里的union,把两张表格上下拼接在一起
应用场景:
现有各个月份的销售明细表,销售明细表的字段肯定是一样的,所以这时候用concat进行拼接,合并成一张大表,然后再对这张大表进行分析
10、多重索引
(1)groupby多重索引
(2)多重索引的变化使用
11、预处理函数
问题:
比如数据框里的某个字段中存储的是:[" "," "," "] 这样的数据,这种数据在数据库里的话是不可用的,怎么去除方括号和单引号呢?
str方法里面还有很多其他的函数
12、数据处理
(1)处理空值
Tips:
在python里有两种空值,一种是Null,另一种是np.NaN。一般没多大区别,但建议用后者,后者是C语言类型的空值
(2)删除重复值
13、高级函数--apply
(1)用法1
既可以针对series,也可以针对dataframe
把一个函数应用到所有列(行)上
上面最后一种方法也可以得到想要的结果,但这里要解释一下:
1.apply函数里面是有参数的,默认的是按列应用,也就是axis=0;这里axis=1 表示按行应用函数
2.直接在数据框中去调用apply时,表示针对数据框的整个都去应用(这里是按列),但是在定义函数里就要去指明是哪一列。这里是按行,但是每行里面有很多列,所以要指明哪一列,所以就用了x.avg. 也可以按下面方法转化一下。
(2)apply应用到聚合函数
新的需求:求不同城市下面薪资排名前五的数据
新的需求:如果要求返回的前几是由参数决定的呢?
(3)agg函数
agg和apply的区别
1.agg后面不能引用func函数,写成agg('func')
2.agg应用了其他聚合函数后,就变成了上海对应的是一行,北京对应的是一行;而apply则是,上海对应的有多行,北京对应的有多行
14、数据透视表
问题:要对某个值进行某种统计计算,比如对上面的workyear的平均值求平均,或者对他的top求sum
15、ETL--链接数据库
(1)步骤
a.1.最好建议用pandas链接数据库,先安装一个包,方法如下图
遇到找不到安装包时,有时候可能会出想找不到,则有可能是安装路径改变了
遇到两个版本的python,可以写成pip3
a.2.安装好包之后正常导入一下,就可以使用了
host: 主机位置,如果是本机,就输入:127.0.0.1;或者直接用localhost;在工作中使用,内网或者其他的,就要问网管
user: 账户名
password:密码
db:数据库名称
port:端口,一般是磨人的
charset:文本编码,根据自己的情况,如果是gbk,就写gbk
a.3.接下来就是,创建游标
a.4.注意:打开了游标之后,一定要关闭游标
(2)怎样连接数据库后生成可用的数据框-pandas
筛选数据可以在df这里切片,也可以在SQL语句处用where筛选,就看电脑性能了,前者是占用本地资源,后者是在SQL里解决占用sql服务器的资源
16、ETL--写入数据库
也可以用下面的代码来执行
注意:
1. 利用上面的方法,写入数据库的问题就是,表的属性会和其他表不一样,最好还是,先在数据库里新建一张表,设置好字段,然后再写入到这张表中
2. 如果要在写入到这个表上数据,可以比原表的列少,它会自动填充空值,但是不能比原表字段多
直接写入csv
17、用jupyter写数据报告
在jupyter里用Markdown ,写一个简单的数据报告
可以百度搜索:Markdown 语法
18、绘图
(1)各种图形的方法
折线图:plot
柱形图:bar
直方图:hist
箱型图:box
密度图:kde
面积图:area
散点图:scatter
饼图:pie
散点图矩阵:scatter_matrix
(2)柱形图绘制
a. 绘制堆积柱形图
问题:怎样变成百分比堆积柱形图
b. 绘制水平轴的堆积柱形图
(3)直方图
怎样绘制多重直方图
比如表示不同教育程度的薪资的直方图
(4)箱线图
还有一种简单的方法
(5)密度图
(6)面积图
(7)散点图
主要是x和y
散点图矩阵
这里会有一个问题:没办法看出三者之间的关系,以下方法可以直接用矩阵展现出来
应用场景:RFM的绘图方式,好用率超过powerbi和Excel
(8)饼图
适用于:分类在10个以下,而且有一个分类占比比较大
另外
还有一些pandas的绘图法,写法不太一样而已
19、绘图进阶
可以解决前面在图形里无法显示中文的问题
(1)绘图元素
表示方法
整个画布用:figure表示
标题:title
数据:data
X轴:
x轴刻度:xtick
x轴标签:xlabel
y轴
(2)代码
去除图表上方的内存地址
tips:
用matplotlib去绘图,其实逻辑就是相当于在一张画布上去叠加每个图层,图层上放的就是图表的各个元素。
问题:如果有多条折线,那再用legend挨个命名,岂不是很麻烦?
练习
不同城市下的薪资水平的散点图
20、绘制子图
会用的方法就是:plt.subplot(几行,几列,绘制第几张子图)
关于这个占位,其实可以灵活的运用,而且不光是把同类型的图表组合,也可以把不同类型的图表组合。
下图举了两个例子
21、seaborn包-高级图表绘制
各种图表表示方法
分布:
distplot:概率分布图 (参数kde=false,就变成了密度图)
kdeplot:概率密度图 (参数kde=false,就变成了分布图)
joinplot:联合密度图 (相当于:散点图的上方和右边有个直方图)
pairplot:多变量图 (散点图矩阵)
分类:
boxplots:箱线图
参数 hue:加一个对比
violinplots:提琴图
类似于箱线图,左右是曲线,表示的密度,参数split=true,会有个对比
barplot:柱形图
factorplot:因子图
plt.figure() 会失效,factorplot 里自带一个size参数;
kind='box"则会绘制出箱线图,也就是kind参数是可以变的
参数 col_wrap:表示把画布分成几列,列封装
数据类型:6-8个时适用于
线性:
lmplot:回归图
heatmap:热力图
这些天又把python学了一遍,更有收获了,课程很简单,学着会上瘾的。
网友评论