美文网首页PYNQ
使用CFFI为PYNQ嵌入C语言

使用CFFI为PYNQ嵌入C语言

作者: IEEE1364 | 来源:发表于2018-12-13 17:12 被阅读350次

    前言

    CFFI是连接Python与c的桥梁,可实现在Python中调用c文件。CFFI为c语言的外部接口,在Python中使用该接口可以实现在Python中使用外部c文件的数据结构及函数。

    Python运行比较低,尤其是操作字节流的时候,为了提升效率,可以通过CFFI在我们的Python设计中嵌入C,大大提升程序的效率。前面的文章《给我儿子做个自动读故事的机器》https://www.jianshu.com/p/56df82bd4dbb中要对音频文件进行操作,涉及到字节流,运行效率低,会引发系统延迟很大。所以这篇文章的第二部分就是一个CFFI的实例来加速文件操作。

    一、CFFI的使用

    CFFI是一个python库,这个库里面有函数可以调用编译器对C语言源文件进行编译,输出一个.so库文件,这库文件就可以 被python调用,就向调用你自己编写的.py文件一样。并且CFFI在PYNQ已经被预装好了,无需自己安装。如果是在Ubuntu下面使用,可能需要自己手动安装一下,需要说明的是,CFFI需要编译器,所以你的系统中需要安装一下编译器,我用的是gcc。

    CFFI有ABI和API两种形式。ABI 驳接的是已经编译好的 binary,API 更快,把 C 代码编译出来使用。关于编译器的使用又分为in-line和out-line两种形式。in-line 即时编译使用,out-line 离线编译后调用。这两两组合一共有四种应用方式,这些PYNQ全都支持。
    下面这篇文章有比较清楚的介绍,也有详细的例子,大家可以参考一下。
    https://www.cnblogs.com/ccxikka/p/9637545.html

    接下来我们要介绍一个简单的例子,来展示的是API out-line的应用,并且这个例子调用的是自己编写的外部文件,比上面那个链接里面展示的内容要复杂。
    在工程目录下建立三个设计文件如下图:


    .c 和.h是源码文件,这个不用个多说。build.py是用用来对源文件进行编译生成库的。

    .c文件里面写了一个加法函数

    #include <stdio.h>
    #include "demo.h"
    
    int add(int a, int b)
    {
        int c;
        c = a+b;
        return c;
    }
    

    .h文件对函数进行声明

    int add(int a, int b);
    

    接下来是最重要的build 文件。这里包含源文件添加和编译函数。

    # 
    import cffi
    
    ffi = cffi.FFI() #生成cffi实例
    
    ffi.cdef("""
        int add(int a, int b);
        """) #函数声明,。。这个地方应该更好的写法,但是我没搞懂
    
    ffi.set_source('demo_module', ##这就是生成的库的名字,将来会在python里面调用
        """
        #include "demo.h"   
        """,
        sources=['demo.c'])
    
    if __name__ == '__main__':
    #compile是离线方式的专用方法,它的作用是让编译器编译出可调用的.so文件
        ffi.compile(verbose=True)
    

    在python 里面运行build.py。如果没有错误,将生成以下几个文件


    其中.so文件就是我们的库文件。

    这个demo的测试语句是这样的写的

    import demo_module.lib as demo
    print(demo.add(2,4))
    

    正确运行后将得到加法的结果。

    这个模板大家可以直接拿过去用,不需要自己编写,只需要在build.py文件中替换自己的文件名和函数名就可以了。

    二、PYNQ嵌入C语言操作WAV文件

    在《给我儿子做个自动读故事的机器》中需要用到python对讯飞返回的16kHz单通道16bit WAV 转换为48kHz 双通道24bit编码方式。在PYNQ上用Python做有连个问题,一是涉及字节流操作效率很低,系统时延大,二是麻烦,没有专门的python库可以完成这种操作,需要用各种函数来拼接。

    关于WAV文件的解析有以下两篇文章写得比较好,信息清楚全面。
    https://zhuanlan.zhihu.com/p/27338283
    https://blog.csdn.net/zhihu008/article/details/7854529

    转换函数如下:

    void convert(char inputfilename[],char outputfilename[])
    {
        FILE *fin;  
        FILE *fout;
        if((fin= fopen(inputfilename,"rb"))==NULL)
        {
            printf("error! can't find audio file!\n");
            exit(1);
        }
        if((fout= fopen(outputfilename,"wb+"))==NULL)
        {
            printf("error! can't find output file!\n");
            exit(1);
        }
    
        Wav wav;
        RIFF_t riff;
        FMT_t fmt;
        Data_t data;
        fread(&wav, 1, sizeof(wav), fin);
    
    
        unsigned int inputlength = wav.data.Subchunk2Size;
        unsigned int outputlength =(unsigned int) wav.data.Subchunk2Size*2*24/16*(48000/16000);
        unsigned char inputflow[inputlength];
        unsigned char outputflow[outputlength];
        unsigned char *inputpointer= inputflow;
    
        fread(inputpointer,1, inputlength,fin);
    
        unsigned int j=0;
        unsigned int k=0;
        for(j=0;j<inputlength/2;j++)
        {
            k= j*18;
            outputflow[k] = 0;
            outputflow[k+1] = inputflow[2*j];
            outputflow[k+2] = inputflow[2*j+1];
     
            outputflow[k+3] = 0; 
            outputflow[k+4] = 0;
            outputflow[k+5] = 0;
    
            outputflow[k+6] = 0;
            outputflow[k+7] = 0;
            outputflow[k+8] = 0;
    
            outputflow[k+9] = 0;
            outputflow[k+10] = inputflow[2*j];
            outputflow[k+11] = inputflow[2*j+1];
     
            outputflow[k+12] = 0; 
            outputflow[k+13] = 0;
            outputflow[k+14] = 0;
    
            outputflow[k+15] = 0;
            outputflow[k+16] = 0;
            outputflow[k+17] = 0; 
        }
    
    
        wav.fmt.NumChannels = 2;
        wav.fmt.SampleRate = 48000;
        wav.fmt.BitsPerSample = 24;
        wav.fmt.BlockAlign = 2*24/8;
        wav.fmt.ByteRate = wav.fmt.SampleRate*2*24/8;
        wav.data.Subchunk2Size = outputlength;
        wav.riff.ChunkSize = outputlength+36;
        fwrite(&wav, 1, sizeof(wav), fout);
    
        fwrite(outputflow,1,outputlength,fout);
    
        printf("convert finished\n");
    
        fclose(fin);
        fclose(fout);
    }
    

    所有设计文件和编译生成的文件打包放在网盘上。
    链接:https://pan.baidu.com/s/13F-wB5zFpFRwtpp_pQb24A 密码:p2sc

    说明:
    1.设计文件一定要在PYNQ平台上编译。因为PYNQ上的编译器和ubuntu下不一样,生成的库是无法通用的。
    2.不知道为什么生成的.so库文件无法在jupyter里面运行,只能在python3下面运行。这里有妖,找个时间研究下。
    3.现在这个程序其实写的很简单,有个问题是占用内存很大,会将整个转化后的音频流数据都放在ram里面,然后一次性写入,耗费ram。差不多一个5s长的音频会消耗1M内存。如果要处理一个大的音频文件,需要修改代码。要知道PYNQ只有512M内存。

    后记

    CFFI的应用对PYNQ是一个极大的扩展,意味着很多已经成型的C语言库都可以被调用,能够有效地扩展PYNQ的应用范围和运行效率。
    当然,使用FPGA部分来加速自然效率更高,但是开发难度相对大很多,还要修改overlay,应用的可移植性不是很好。CFFI 是一个比较中性的选择。Xilinx 的HLS可以对逻辑开发进行C语言支持,在CFFI中应用的C代码也许可以比较方便地转化为硬件逻辑,或者作为算法验证的前一个步骤。当然这一点只是我的推断,因为我对C语言的逻辑开发并不熟悉。

    相关文章

      网友评论

        本文标题:使用CFFI为PYNQ嵌入C语言

        本文链接:https://www.haomeiwen.com/subject/tjhbhqtx.html