美文网首页
python学习之旅

python学习之旅

作者: 鱼子酱呀 | 来源:发表于2020-03-21 18:53 被阅读0次

0、关于输入

jupyter中可以写成:

也可以写成:

但是多对双引号或者多对单引号使用时,会出错

可以用\作为转义字符

1、求两个列表的合集

2、从元组中取值

3、关于控制流(94课)

(1)if

只要有一个执行了,if语句就会自动跳出

if 里面也可以直接嵌套 if ,但是要注意缩进

(2)循环语句--while

a.1.直接跳出整个循环--break

它只是跳出整个循环

结果就是:只会输出1-5的 count 的值

a.2.只是跳过当前循环这一步--continue

这里的结果就是:会输出除了 5 之外的1-10的 count 的值

(3)循环语句--for

(4)range

a.1.字典被用于for循环中

(5)往列表中加入一系列的值

第一种方法:

第二种办法:更pythonic的方式

两种结果是一样的

插入偶数

(6)从字典里取一些值

4、python函数

当某个地方需要复用时,需要用到函数

(1)print和return的区别

print只是一个输出的值,不会把指赋给变量

(2)参数

函数中也可以使用第三个参数,例如充当一个四则运算器

利用函数做一个统计的定义

另一种比较python的写法:

(2)map函数:map(函数,一个列表)

map也可以用内置函数:map(内置函数,一个列表)

map也可以套双层:map(内置函数,map(func,一个列表))

(3)匿名函数(可与map函数配合使用)

lambda x:x*x:第一个 x是输入的,输出的则是:x*x

它可以省去中间的很多逻辑,只管输入和输出

5、导入包

一个模块(包)里含有很多个可以直接用的函数,利用import导入这个模块

还有很多第三方包

csv、math 数学、datetime 时间、pandas、numpy

也可在网上关键字搜索和练习:python 元素次数

6、numpy、pandas

(1)numpy

numpy的数据类型是:int32、float64等,是C语言专属的,和一般的类型不太一样

(2)pandas

pandas 有两种数据类型:

series:类似于array数组,它是一维的

dataframe:是二维的,更加类似于Excel表

a-1 pandas--series

-1- 定义:近似数组的一维结构

-2- 切片

-3- 直接更改值

-4- 字典和series数组互换

-5- 格式转换

series和dataframe里面的数据类型是统一的

a-2 pandas--dataframe

-1- 字典转换成dataframe结构

-2- series转换成数据框

-3- 数据框的概述

-4- 取数据框的行的切片

-5- 多列切片

-6- 修改某列的值

-7- 修改索引

-8- 逻辑判断

-9- 多条件判断-query的使用

-10- 列的计算

-11- .iloc  .loc方法

7、读取文件后的一系列操作

(1)读取文件

(2)修改字段名

(3)查看数据

(4)更改数据类型

(5)多重切片

类似于前面讲dataframe的时候的内容

8、pandas的高阶函数

(1)行列转置--用于矩阵运算

(2)排序

(3)排名

(4)查多少个唯一值

(5)描述

(6)常用的函数

(7)分段:把某字段的某些范围的分为一组

(8)聚合函数

-1- 分组

(9)复杂计算--循环

例如,计算不同城市之间最大值和最小值的差值

当遇到这样的要求的时候,需要使用到循环语句

9、pandas多表关联操作

pandas中有三种关联方法:concat(堆叠),join(用于索引),merge(根据键值,用得最多)

(1)merge

基本用法:在数据框下调用

另一种用法:

(2)join

针对索引,可能会出问题;如果是时间序列的数据框,join会比较方便(左右拼接在一起)

(3)concat

堆叠,相当于sql里的union,把两张表格上下拼接在一起

应用场景:

现有各个月份的销售明细表,销售明细表的字段肯定是一样的,所以这时候用concat进行拼接,合并成一张大表,然后再对这张大表进行分析

10、多重索引

(1)groupby多重索引

(2)多重索引的变化使用

11、预处理函数

问题:

比如数据框里的某个字段中存储的是:[" "," "," "] 这样的数据,这种数据在数据库里的话是不可用的,怎么去除方括号和单引号呢?

str方法里面还有很多其他的函数

12、数据处理

(1)处理空值

Tips:

在python里有两种空值,一种是Null,另一种是np.NaN。一般没多大区别,但建议用后者,后者是C语言类型的空值

(2)删除重复值

13、高级函数--apply

(1)用法1

既可以针对series,也可以针对dataframe

把一个函数应用到所有列(行)上

上面最后一种方法也可以得到想要的结果,但这里要解释一下:

1.apply函数里面是有参数的,默认的是按列应用,也就是axis=0;这里axis=1 表示按行应用函数

2.直接在数据框中去调用apply时,表示针对数据框的整个都去应用(这里是按列),但是在定义函数里就要去指明是哪一列。这里是按行,但是每行里面有很多列,所以要指明哪一列,所以就用了x.avg. 也可以按下面方法转化一下。

(2)apply应用到聚合函数

新的需求:求不同城市下面薪资排名前五的数据

新的需求:如果要求返回的前几是由参数决定的呢?

(3)agg函数

agg和apply的区别

1.agg后面不能引用func函数,写成agg('func')

2.agg应用了其他聚合函数后,就变成了上海对应的是一行,北京对应的是一行;而apply则是,上海对应的有多行,北京对应的有多行

14、数据透视表

问题:要对某个值进行某种统计计算,比如对上面的workyear的平均值求平均,或者对他的top求sum

15、ETL--链接数据库

(1)步骤

a.1.最好建议用pandas链接数据库,先安装一个包,方法如下图

遇到找不到安装包时,有时候可能会出想找不到,则有可能是安装路径改变了

遇到两个版本的python,可以写成pip3

a.2.安装好包之后正常导入一下,就可以使用了

host: 主机位置,如果是本机,就输入:127.0.0.1;或者直接用localhost;在工作中使用,内网或者其他的,就要问网管

user: 账户名

password:密码

db:数据库名称

port:端口,一般是磨人的

charset:文本编码,根据自己的情况,如果是gbk,就写gbk

a.3.接下来就是,创建游标

a.4.注意:打开了游标之后,一定要关闭游标

(2)怎样连接数据库后生成可用的数据框-pandas

筛选数据可以在df这里切片,也可以在SQL语句处用where筛选,就看电脑性能了,前者是占用本地资源,后者是在SQL里解决占用sql服务器的资源

16、ETL--写入数据库

也可以用下面的代码来执行

注意:

1. 利用上面的方法,写入数据库的问题就是,表的属性会和其他表不一样,最好还是,先在数据库里新建一张表,设置好字段,然后再写入到这张表中

2. 如果要在写入到这个表上数据,可以比原表的列少,它会自动填充空值,但是不能比原表字段多

直接写入csv

17、用jupyter写数据报告

在jupyter里用Markdown ,写一个简单的数据报告

可以百度搜索:Markdown 语法

18、绘图

(1)各种图形的方法

折线图:plot

柱形图:bar

直方图:hist

箱型图:box

密度图:kde

面积图:area

散点图:scatter

饼图:pie

散点图矩阵:scatter_matrix

(2)柱形图绘制

a. 绘制堆积柱形图

问题:怎样变成百分比堆积柱形图

b. 绘制水平轴的堆积柱形图

(3)直方图

怎样绘制多重直方图

比如表示不同教育程度的薪资的直方图

(4)箱线图

还有一种简单的方法

(5)密度图

(6)面积图

(7)散点图

主要是x和y

散点图矩阵

这里会有一个问题:没办法看出三者之间的关系,以下方法可以直接用矩阵展现出来

应用场景:RFM的绘图方式,好用率超过powerbi和Excel

(8)饼图

适用于:分类在10个以下,而且有一个分类占比比较大

另外

还有一些pandas的绘图法,写法不太一样而已

19、绘图进阶

可以解决前面在图形里无法显示中文的问题

(1)绘图元素

表示方法

整个画布用:figure表示

标题:title

数据:data

X轴:

x轴刻度:xtick

x轴标签:xlabel

y轴

(2)代码

去除图表上方的内存地址

tips:

用matplotlib去绘图,其实逻辑就是相当于在一张画布上去叠加每个图层,图层上放的就是图表的各个元素。

问题:如果有多条折线,那再用legend挨个命名,岂不是很麻烦?

练习

不同城市下的薪资水平的散点图

20、绘制子图

会用的方法就是:plt.subplot(几行,几列,绘制第几张子图)

关于这个占位,其实可以灵活的运用,而且不光是把同类型的图表组合,也可以把不同类型的图表组合。

下图举了两个例子

21、seaborn包-高级图表绘制

各种图表表示方法

分布:

distplot:概率分布图 (参数kde=false,就变成了密度图)

kdeplot:概率密度图  (参数kde=false,就变成了分布图)

joinplot:联合密度图  (相当于:散点图的上方和右边有个直方图)

pairplot:多变量图  (散点图矩阵)

分类:

boxplots:箱线图

    参数 hue:加一个对比

violinplots:提琴图

    类似于箱线图,左右是曲线,表示的密度,参数split=true,会有个对比

barplot:柱形图

factorplot:因子图

    plt.figure() 会失效,factorplot 里自带一个size参数;

    kind='box"则会绘制出箱线图,也就是kind参数是可以变的

    参数 col_wrap:表示把画布分成几列,列封装

    数据类型:6-8个时适用于

线性:

lmplot:回归图

heatmap:热力图


这些天又把python学了一遍,更有收获了,课程很简单,学着会上瘾的。

相关文章

网友评论

      本文标题:python学习之旅

      本文链接:https://www.haomeiwen.com/subject/keijyhtx.html