美文网首页
FTP文件上传及回执文件下载项目优化

FTP文件上传及回执文件下载项目优化

作者: Lucas汪星人 | 来源:发表于2017-03-31 18:14 被阅读121次

功能简介:

操作1:将本地的订单xml文件上传到FTP上,然后在本地其他文件夹进行备
份并删除源文件。
操作2:将FTP上面其他公司上传的订单回执Xml下载到temp文件夹(限制数
量为300,超过300则下个循环再下载。此举防止一个周期时间过长,产生中
断。) ——> 解析并存储到数据库中 ——> 将temp中的文件转移到备份文件
夹中并根据时间存储到相对应的文件夹中。

优化部分:

  • 优化1

上次的项目流程是:为每个任务创建线程 ——> 线程里面创建定时器 ——>
完成任务。

我觉得我敢我上次的代码上传到github上也是胆子大,幸好github没有fans,不然被人笑掉大牙了。。。

我本来是想继续优化做成可视化,可人工控制的。结果按照我之前的那样压根控制不了,关闭线程,定时器还在继续任务。关闭定时器,线程又不会被关闭。哎,什么都不了解就乱写。。。

定时器本身开启之后就是创建一个线程的,在这个线程里面完成任务。所以再开启一个线程里面创建定时器完全是多此一举!在这里我换了个思路来写。

现在的项目流程:开启第一个任务在主线程中直接run ——> 开启一个分线程
来完成第二个任务

代码如下:

/**
 * 开启任务
 * @param task 任务对应标识
 */
private void startTimerTask(String task){

    ThreadUtils orderThread = ThreadUtils.getThreadUtils(task);
    /**
     * 如果close为true则说明线程被暂停过,则修改值之后直接运行即可。
     * 这里虽然启动第一个是在主线程运行,但是第二个就会自动在分线程运行的
     */
    orderThread.setClose(false);
    orderThread.run();
    
}

如下图:哈哈,我用oc写的一个简单的控制任务开关

控制任务开关器

这里就是直接开启线程执行任务,而在线程里的run方法里执行任务时根据一个标志boolean类型的属性close来控制任务的开始于停止,这里注意需要使用synchronized关键字将线程锁住,否则在线程睡眠的那段时间,再执行run就是重新创建一个新的线程了。(你们可以把关键字去掉,然后重复的开关开关)就知道我说的什么意思了。

代码如下

/**
 * 线程方法
 * 根据task来区分两个线程的方法,并且只要没有关闭,就一直执行任务,执行完sleep一段时间再次执行,通过
 * 这种方式达到一个定时器的功能。
 */
@Override
public void run() {
    /**
     * 这里使用synchronized关键字来锁住线程,
     * 这样当线程被再次启动的时候就不会一个任务启动多个线程了。
     */

    if (task.equals("upload")){
        synchronized (this) {
            while (!close()) {
                System.out.println("查找订单文件" + new Date().toString());
                OrderInfoDeal.orderXmlUpload();
                FtpUtils.closeFtpClient(FtpUtils.getFTPClient());
                try {
                    Thread.sleep(60000);
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            }
        }
    }

    else if (task.equals("download")){
        synchronized (this) {
            while (!close()) {
                //回执xml下载
                System.out.println("查找回执文件" + new Date().toString());
                ReceiptDeal receiptDeal = new ReceiptDeal();
                receiptDeal.receiptXmlDownload();
                FtpUtils.closeFtpClient(FtpUtils.getFTPClient());
                try {
                    Thread.sleep(60000);
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            }
        }
    }

}
  • 优化2

之前的回执文件是直接下载至备份,然后解析存入数据库中再删除ftp上的文件,但是缺乏考虑到如果在下载过程,或者解析过程中途断掉之后的处理。如果断掉的话还是重头从ftp上下载,比较坑。

这次加入了一个temp文件,先将ftp上的文件下载到temp文件夹里面,然后进行解析插入数据库,最后将temp文件移到备份。现在每次开启任务的时候是先判断temp文件里面是否有未解析的文件,有的话先解析再下载。

这是项目流程考虑的不清楚!我的我的~

  • 优化3

之前的存储到数据库是解析一个对象存储一个,这样真的太慢了!!!,插入50个就需要一分钟你敢信?

所以我将之前的单个单个存储用foreach改成了批量存储,经测试,插入五百条数据大约一秒钟不到。

用的mybatis代码如下:

    <insert id="add" parameterType="java.util.ArrayList">
    INSERT INTO add_receipt VALUES
    <foreach item="item" index="key" collection="list"open="" separator="," close="">
    (#{item.receiptId},#{item.guid},#{item.ebpCode},#{item.ebcCode},#{item.orderNo},#{item.returnStatus},#{item.returnTime}, #{item.returnInfo},#{item.uploadTime})
     </foreach>;
      </insert>

基本优化了以上三点。依旧新代码上传到github

现在准备转成b/s项目,接下来还需要展示回执错误信息的一个列表,还需要再写几个接口调用。

写着玩,有不对的地方还请指出来。谢谢。

联系方式

相关文章

网友评论

      本文标题:FTP文件上传及回执文件下载项目优化

      本文链接:https://www.haomeiwen.com/subject/rpbvottx.html