美文网首页
数据处理01:Python编程笔记本Jupyter!

数据处理01:Python编程笔记本Jupyter!

作者: 919b0c54458f | 来源:发表于2019-01-24 10:46 被阅读10次

    Jupyter Notebook 是计算和文档一体化的编程笔记本,它不只是把 IPython 放进浏览器而已,还能将代码、文本、表格、公式以及图形都集成在同一网页之中,作为连接与整合多种资源的在线门户。如果放到公网主机上,就能在任何地方随时使用,是进行数据处理的必备神器。项目官网 https://jupyter.org/

    01_jupyter.png

    Jupyter Notebook 可通过 Anaconda Navigator 启动,程序在后台运行并自动用浏览器打开主页面,显示当前用户目录的内容——更快捷的启动方式是直接输入以下命令,这样主页面显示的将是当前目录(按 Ctrl+C 结束运行):

    jupyter notebook

    Jupyter Notebook 每次启动会随机生成一个凭据用作安全验证,你可以输入以下命令设置一个登录密码以方便使用:

    jupyter notebook password

    Jupyter Notebook 专用文件格式为 IPython 笔记本(.ipynb),点击主页面右上方的“新建”按钮即可创建笔记本。笔记本页面主要由代码单元格组成,一个代码单元格就是一次 IPython 交互,你可以在其中输入 Python 程序并运行,运行结果将在页面中显示;另一种常用组件是标记单元格,其中可以使用 MarkDown 标记编写带格式的文档,运行标记单元格将显示排版后的效果——MarkDown 标记非常简单,这里列出常用的几种,更多介绍可参阅 http://www.markdown.cn/

    # 一级标题

    ## 二级标题

    正文段落

    正文段落

    - 列表

    - 列表

    1. 编号列表

    2. 编号列表

    [链接](abc.ipynb)

    ![图片](xyz.jpg)

    在笔记本页面中可以使用热键进行快捷操作,主要有下面这些:

    H 显示热键列表

    A/B 在上/下插入单元格

    M/Y 改为标记/代码单元格

    Enter/Esc 进入/退出编辑单元格

    Ctrl+Enter 运行单元格

    S 保存笔记内容

    在主页面中还可以新建文件夹和文本文件,或是打开终端窗口输入命令,例如安装第三方包、运行脚本文件等等。下面让我们来实际练习一下:这个简单的数据分析示例是统计在之前练习项目的所有 Python 程序代码中各个关键字的出现次数,结果存到一个字典。程序引入了两个第三方包——用 wordcloud 根据频度字典生成词云图,再用 matplotlib 显示在页面中(Anaconda 默认已安装后者,只需再装前者即可)

    """练习项目源码中Python关键字出现次数统计

    先克隆源码到当前目录 https://gitee.com/freesand/pyStudy.git

    """

    import os

    import re

    from keyword import kwlist

    import matplotlib.pyplot as plt # 绘图第三方包

    from wordcloud import WordCloud # 词云第三方包

    folder = "pyStudy"

    kwdict = {}

    # 遍历目录树逐个处理Python源码文件

    for foldername, subfoldername, filenames in os.walk(folder):

    for filename in filenames:

    if filename.endswith('.py') or filename.endswith('.pyw'):

    with open(os.path.join(foldername, filename)) as file:

    for line in file: # 逐行处理文本

    po = re.compile(r'W+') # 清理非单词类字符

    line = po.sub(' ', line)

    for word in line.split(): # 文本拆分为单词

    if word in kwlist: # 如为关键字则更新结果字典

    kwdict.setdefault(word, 0)

    kwdict[word] += 1

    # 排序输出关键字频度

    result = sorted(kwdict.items(), key=lambda i: i[1], reverse=True)

    cnt = 0

    for k, v in result:

    print(f"{k:>8} {v:3}", end=" ")

    if cnt % 5 == 4:

    print()

    cnt += 1

    # 根据关键字频度生成词云图

    wc = WordCloud(background_color='white', width=1000, height=600)

    wc.generate_from_frequencies(kwdict)

    plt.figure(figsize=(10, 6))

    plt.imshow(wc)

    plt.axis("off")

    plt.show()

    进群:960410445 即可获取数十套PDF!

    01_wordcloud.png

    程序放入代码单元格运行即可输出结果,可以看到练习项目中出现的关键字共有 32 个,其中 if、def、import 最为常见(还有三个从未用过 del、finally、nonlocal)

    如果想公开分享自己的笔记本,放到 GitHub 即可直接显示,不过渲染速度比较慢,推荐专用查看器 nbviewer https://nbviewer.jupyter.org/

    相关文章

      网友评论

          本文标题:数据处理01:Python编程笔记本Jupyter!

          本文链接:https://www.haomeiwen.com/subject/clkyjqtx.html