美文网首页
【Python入门】26.常用内置模块之 base64和stru

【Python入门】26.常用内置模块之 base64和stru

作者: 三贝_ | 来源:发表于2018-08-26 19:56 被阅读15次

    摘要:Base64是一种编码方式用64个字符来表示二进制数据;struct模块用来处理bytes和其他二进制数据类型的转换。


    *写在前面:为了更好的学习python,博主记录下自己的学习路程。本学习笔记基于廖雪峰的Python教程,如有侵权,请告知删除。欢迎与博主一起学习Pythonヽ( ̄▽ ̄)ノ *


    目录

    常见内置模块
    Base64
    • 编码示例
    • base64 模块
    • urlsafe的base64编码
    • 【练习】自动处理去掉=的base64编码函数
    struct
    • 用struct分析bmp文件

    常见内置模块

    Base64

    Base64是一种编码方式,用64个字符来表示二进制数据。

    哪64个字符?就是26个大写字母、26个小写字母、0-9 10个数字以及两个符号+/

    我们都知道,用UTF-8编码的话,一个英文字符占一个字节,而一个中文字符占三个字节。一个byte(字节)有8bit(比特)。

    在Base64编码中,每三个字节一组,一共有3x8=24bit。然后每6bit编一个字符,刚好能编出4个字符。

    二进制6bit能够表示数字0-63,64个整数,一个整数对应一个字符。下面是Base64索引表

    Base64索引表
    • 编码示例

    看一个编码示例:


    base64编码示例
    • base64 模块

    在Python中,直接引进base64模块,用base64.b64encode( )来编码,用base64.b64decode( )来解码。

    >>>import base64
    >>>base64.b64encode(b'Hug')
    b'SHVn' 
    >>>base64.b64decode(b'SHVn')
    b'Hug' 
    

    如果需要编码的二进制数据不是3的倍数,那么Base64会自动补充缺的字节,然后在编码的末尾加上1或2个=号。

    >>>import base64
    >>>base64.b64encode(b'Hello, world!')
    b'SGVsbG8sIHdvcmxkIQ==' 
    >>>base64.b64decode(b'SGVsbG8sIHdvcmxkIQ==')
    b'Hello, world!' 
    

    很多Base编码会把加上的=号去掉,因为在URL、Cookie里面会造成歧义。而如果要解码,则加上相应的=号即可。

    • urlsafe的base64编码

    对于标准的Base64编码出现的+/,不能在URL中直接作为参数,所以有一种“url safe”的Base64编码,把其中的字符+/改为-_

    >>> base64.b64encode(b'i\xb7\x1d\xfb\xef\xff')
    b'abcd++//'
    >>> base64.urlsafe_b64encode(b'i\xb7\x1d\xfb\xef\xff')
    b'abcd--__'
    >>> base64.urlsafe_b64decode('abcd--__')
    b'i\xb7\x1d\xfb\xef\xff'
    

    一般而言,我们不会用Base64编码来加密数据,因为它是一种公开的编码方式。

    Base64主要用于在URL、Cookie、网页中传输少量二进制数据。

    • 【练习】自动处理去掉=的base64编码函数

    请写一个能处理去掉=的base64解码函数(练习源自廖雪峰官网)

    # -*- coding: utf-8 -*-
    import base64
    
    def safe_base64_decode(s):
        while len(s)%4 != 0:                 # 当字符数不能被4整除时
            s = s + b'='                     # 在末尾添加符号=
        return base64.b64decode(s)
    
    
    # 测试:
    assert b'abcd' == safe_base64_decode(b'YWJjZA=='), safe_base64_decode('YWJjZA==')
    assert b'abcd' == safe_base64_decode(b'YWJjZA'), safe_base64_decode('YWJjZA')
    print('ok')
    

    结果:

    ok
    

    struct

    struct模块用来处理bytes和其他二进制数据类型的转换。

    通过struct的pack( )函数,可以把任意数据类型转化为bytes:

    >>> import struct
    >>> struct.pack('>I', 10240099)
    b'\x00\x9c@c'
    

    在这里函数pack输入了两个参数,第一个参数是处理指令,第二参数是需要转化的数据。

    其中处理指令

    >表示字节顺序为big-endian,即网络序

    I表示4字节无符号整数。

    需要注意的是,第二个参数个数要与处理指令一致。

    (补充说明:

    为什么结果为b'\x00\x9c@c'

    bytes的显示形式是b'',在''里面如果一个bytes的值能够与ASCII编码的显示字符对应,则以ASCII编码字符显示,反之,则以\x后接十六进制来显示。

    整数10240099,转化为四字节,如果全部转为十六进制,为\x00\x9c\x40\x63,其中\x40ASCII编码中能表示为@\x63能表示为c,所以结果为b'\x00\x9c@c'

    此外,可以用unpack把bytes转化成相应的数据类型:

    >>> struct.unpack('<IH', b'\xf0\xf0\xf0\xf0\x80\x80')
    (4042322160, 32896)
    

    其中处理指令

    <表示字节顺序为little-endian

    IH表示把bytes依次变为4字节无符号整数和2字节无符号整数。

    关于更多的struct模块定义的数据类型及其参数说明,可以参考Python的官方文档

    Python并不适合编写底层操作字节流的代码,但是对性能要求不高的地方,用struct就方便很多。

    下面看廖雪峰官网的一个例子(以下内容转自廖雪峰官网)

    • 用struct分析bmp文件

    Windows的位图文件(.bmp)是一种非常简单的文件格式,我们来用struct分析一下。

    首先找一个bmp文件,没有的话用“画图”画一个。

    读入前30个字节来分析:

    >>> s = b'\x42\x4d\x38\x8c\x0a\x00\x00\x00\x00\x00\x36\x00\x00\x00\x28\x00\x00\x00\x80\x02\x00\x00\x68\x01\x00\x00\x01\x00\x18\x00'
    

    BMP格式采用小端方式存储数据,文件头的结构按顺序如下:

    两个字节:'BM'表示Windows位图,'BA'表示OS/2位图;
    一个4字节整数:表示位图大小;
    一个4字节整数:保留位,始终为0;
    一个4字节整数:实际图像的偏移量;
    一个4字节整数:Header的字节数;
    一个4字节整数:图像宽度;
    一个4字节整数:图像高度;
    一个2字节整数:始终为1;
    一个2字节整数:颜色数。

    所以,组合起来用unpack读取:

    >>> struct.unpack('<ccIIIIIIHH', s)
    (b'B', b'M', 691256, 0, 54, 40, 640, 360, 1, 24)
    

    结果显示,b'B'b'M'说明是Windows位图,位图大小为640x360,颜色数为24。


    以上就是本节的全部内容,感谢你的阅读。

    下一节内容:常见内置模块之 hashlib

    有任何问题与想法,欢迎评论与吐槽。

    和博主一起学习Python吧( ̄▽ ̄)~*

    相关文章

      网友评论

          本文标题:【Python入门】26.常用内置模块之 base64和stru

          本文链接:https://www.haomeiwen.com/subject/fwtaiftx.html