使用python进行数据分析<二>(引言)

一.读取txt文件,并使用JSON解析为list.

1.open函数可以指定编码方式为utf-8

2. [ ]使用列表生成式解析

path = '/Users/lidaoyuan/Desktop/python/test02/govTest/example.txt'
#with open(path, "r", encoding="utf-8") as f:
records = [json.loads(line) for  line in  open(path,"r",encoding="utf-8")]

二.使用pandas对tz元素计数

#使用pandas
frame = DataFrame(records)

# 从frame["tz"]返回的Series对象,有一个value_counts方法.  可以对各个对象计数
print(frame["tz"].value_counts())

三.使用pandas对处理数据,并绘制简易条形图

tz_series = frame["tz"]
clean_tz = tz_series.fillna('Missing')  # fillna函数可以替换缺失值
clean_tz[clean_tz==''] = 'Unknown'   #可以便利clean_tz中的值,判断满足条件者.这里的用法不是很懂.

clean_tz_counts = clean_tz.value_counts()
clean_tz_counts[:10].plot(kind='barh',rot=0)
# import matplotlib.pyplot as plt , 这里手动调用show方法才会弹出绘制的图片,书上没有写. 不知道是什么原因. 
plt.show()

四.

# split() 通过指定分隔符对字符串进行切片，如果参数 num 有指定值，则仅分隔 num 个子字符串
#将frame中a字段对应下的字符串分割,然后提取出第一个.
results = Series([x.split()[0] for x in frame.a.dropna()])


In [61]: results
Out[61]: 
0                  Mozilla/5.0
1       GoogleMaps/RochesterNY
2                  Mozilla/4.0
3                  Mozilla/5.0
4                  Mozilla/5.0
5                  Mozilla/5.0
6                  Mozilla/5.0
7                  Mozilla/5.0
8                   Opera/9.80
9                  Mozilla/5.0
10                 Mozilla/5.0
11                 Mozilla/5.0
12                 Mozilla/5.0
13                 Mozilla/5.0
14                 Mozilla/5.0
15                 Mozilla/5.0
16                 Mozilla/5.0
17      GoogleMaps/RochesterNY
18                 Mozilla/5.0
.......

五.使用numpy找出包含指定字符串的元素.

# 将a字段下为空的从数据中移除.
cframe = frame[frame.a.notnull()]
#使用numpy的where函数,查找出a字段下包含windows字样的元素,并且使用参数x, y 替换对应的结果
operating_system = np.where(cframe['a'].str.contains('Windows'),'Windows','Not use windows')
print(operating_system)

注:

1.同时安装多个版本的python,可以使用 如:python3.6 制定某一版本的python

2. python 自带的有easy_install 如果要安装pip, 使用 sudo easy_install pip. 同理也可以制定某一版本 sudo easy_install-3.6 pip

3. 使用pip 也可指定某一版本 pip3.6 install numpy

4. DataFrame 是pandas中的数据结构,用于将数据表示为一个表格.

5. callable() 函数用于检查一个对象是否是可调用的。如果返回True，object仍然可能调用失败；但如果返回False，调用对象ojbect
   绝对不会成功。
   对于函数, 方法, lambda 函式, 类, 以及实现了 call 方法的类实例, 它都返回 True。
   callable(object)

6. getitem() 可以让对象像数组或者字典那样,使用下标取数据

7. matplotlib.pyplot.show() ,plot出的图像才出现(不知道是什么原因)