我是Lem0，自学倡导者，执迷于“不务正业”，被批评“旁门左道”。我注册并使用简书，希望能够记录一些我记不住的事情，或者与大家一起共享知识，共同学习。
从导师那里接到这个项目的时候，我还认为DBase数据库已经从这个世界上消失了，没有一家公司和企业依然在使用DBF文件存储数据。然而我想错了，我国教育部门依然在使用这种格式的文件，无论是我手中合法获取的数据，还是其他部门人员透露的消息，DBF数据文件确实从学生高考入学到毕业时填写去向表都一直存在着，并且在短时间内，教育系统中不会有其他来代替DBase数据库。
基于这种情况，这个数据可视化项目可以概括为提取我手中DBF文件里的100万条数据并加以处理，绘制统计图表。
PHP的DBase扩展
我是用的后端语言是PHP，开发环境是Windows8+wamp。为了让PHP能够处理DBF文件，我需要下载安装一个名为php_dbase.dll的扩展库。
我搜遍全网，发现PHP5.3时期已经完全弃用dbase扩展和相关函数的使用。我的wamp搭载的是PHP5.5，自然不能使用php_dbase.dll了。
后来我在PHP官网上搜索，得到PHP7.0支持dbase数据库扩展的消息。我快速下载了最新版本的wamp，支持PHP5和PHP7的相互转换。之后我使用PHP7.0.10成功地载入了php_dbase.dll。
处理DBF文件
我在PHP手册中查得操作DBF文件的多个函数，功能简单但足够我使用。
//打开数据库，其中第二参数为打开方式：
0-只读；1-只写；2-可读写
dbase_open($filename, $mode)
//关闭数据库
dbase_close($identifier)
//读取一条记录，返回一个关系型数组
dbase_get_record_with_names($identifier, $index)
//获取数据库中数据总条数
dbase_numrecords($identifier)
首先我使用一个循环，读取每一条数据并进行处理：
for ($i = 0; $i < $dbase_numrecord($db); $i++) {
$row = dbase_get_record_with_names($db, $i);
//...其他处理
}
写成整个程序之后我发现，由于PHP本身的效率问题，加之数据量庞大（100万条数据），我的浏览器在运行PHP程序时总会卡死，造成约5～10分钟的无响应状态。我判断一次读取和处理的数据不能大于5000条，所以我嵌套了另一个外部循环，保证每次循环处理5000个数据，5000条数据都处理完，再读入下5000条。之后根据运行结果来看，我已经能够做到秒级输出处理结果了。
绘图插件
我一开始打算使用PHP的类库：jpgraph来绘制统计图表。但后来我被百度前端推出的图标插件echarts的效果吸引了，因而决定使用echarts配合jQuery出图。
依旧是效率
我发现每次登录系统都采取PHP运算，读入DBF后出图是一个愚蠢的决定，因为这将导致打开数据库，可能处理大量不需要用户看到的信息，从而拖慢机器速度。
我冥思苦想，最终发现了echarts插件支持通过json绘图。我一下拍案而起，可以通过PHP处理数据库一次，将获得的、需要使用的数据储存到json中。每次得到用户的请求，都从json中加载数据。
这就避免了大量不需要的数据储存在服务器上，浪费空间，从而也避免了可能的安全问题。同时，使用json相比于从DBF直接读入数据快了很多倍，一个json文件只有100kb而已（之前的dbf文件有足足300M）。
之后我依旧使用上面每次读取5000条数据的循环，将读取的数据以json格式输出并储存。
//for循环体
$row = dbase_get_record_with_names($db, $i);
switch ($row['JYQXDM']) {
//处理语句省略，处理结果是数组形式，赋给变量$res
}
json_encode($res);
echo $res;
在程序确认无误后，发现输出无效。页面没有显示任何内容。
中文编码
json_encode函数要求json数据必须是utf-8编码。但即使用UTF8编码的字符，使用json_encode也没有输出。后来我又查了一个小时，才找到了解决办法。
我在使用json_encode之前把字符用函数urlencode()处理一下，然后再json_encode，输出结果的时候在用函数urldecode()转回来。测试代码具体如下：
$testJSON=array('name'=>'中文字符串','value'=>'test');
foreach ( $testJSON as $key => $value ) {
$testJSON[$key] = urlencode ( $value );
}
echo urldecode ( json_encode ( $testJSON ) );
至此，PHP终于输出了中文json格式。
关注我的诸位，感谢你们的支持。
由于工作原因，最近没有时间更新游戏开发教程和其他文章。我正着手于一个数据可视化系统的项目，可能在最近5天内没有时间再看简书并且回复大家的私信和评论。您可以继续留言给我，我会尽早回来继续更新。
网友评论