1 重点

2清洗数据

一个简单的数据清洗的过程

2.1 使用更加简洁的方式读取文件

• 使用简洁的读取方式

df = pyspark.read.load('FileStore/tables/aaa.csv', format = 'csv', sep = ',', header = True, escape = '"',  inferschema = True)

2.2 查看数据的一些基本信息

查看表信息，用来确认我们如何处理这些数据

1. 查看总共的数据量

df.count()

2. 读取前3行的数据，了解字段

df.show(3)

3. 查看表字段的信息，和上面2对照

df.printSchema()

2.3 数据清洗

1. 去除不需要的多列

df.drop('size', 'Type', 'Content Racing', 'Last Updated')
df.show(3)

2. 删除非法字段，更改类型

from pyspark.sql.functions import *

df = df.withColumn('Reviews', col('Review').cast(IntegerType()))
.withColumn('Installs', regexp_replace(col('Installs'), '[^0-9]' , ''))