美文网首页
半年实习日志总结

半年实习日志总结

作者: 韦子扬 | 来源:发表于2018-06-25 01:03 被阅读0次

1.携程机票爬取问题

难点:api需要一个key才能够访问,该key由js经过复杂运算得出,由后端直接模拟请求十分复杂。而用phantomjs操作无头浏览器的方案会给服务器带来巨大压力,且爬取速度无法满足业务需求。

解决方案:使用phantomjs模拟到得出key后立即停止,再使用requests构造请求访问api。


2.PDF 模板问题

难点:系统需要能够将数据库中的数据自动渲染至pdf,由于每家客户的pdf模板不同,后端人员每次都需要根据模板编写相应代码将数据渲染上去,耗时、费力、效率不高。

解决方案:新增一个模板层,能够通过简单配置json来完成字段的绑定。模板层要考虑普通填空、选择、表格等类型。另外,为了实现让业务人员也能够配置json,编写了gui 页面,完成了目标。


3.Excel模板问题

难点:同pdf模板问题一致,系统需要自动生成excel数据,后端人员每次要根据不同的excel,编写大量的代码。

解决方案:同样将代码层分解为模板层与核心代码层,接收配置文件,完成总表导出。另外,可以通过xlwriter 来实现样式内容的提取,因此,可以直接通过编写Excel 完成配置。


4.验证码问题

难点:将客户信息自动上传至马来西亚官网,其中要进行两次验证码验证,这里采取打码平台方案,问题在于正常情况下平均需要40s时间才可以得到验证码答案。而客户在使用该saas平台进行提交时,高峰时间段往往在1小时内能够有200+次提交,验证速度远远不够,造成严重的任务阻塞。

解决方案:采用定时任务,每隔X秒进行一次如下任务:获取验证码图片,经过打码平台验证以后,将当前的session 和打码平台返回的答案存储在redis中,当有用户进行请求时,从redis池中直接取出session和answer 进行操作,速度得到大幅度提升。

相关文章

  • 半年实习日志总结

    1.携程机票爬取问题 难点:api需要一个key才能够访问,该key由js经过复杂运算得出,由后端直接模拟请求十分...

  • 半年实习的总结

    坐在火车上思绪也在不停的翻腾!总是想去写点什么,但是总是不知道该去写点什么!半年过去了,也算写点东西来总结下吧! ...

  • 想哭

    我 明天早上上课前要交实习报告 分散实习日志30篇以上, 每篇100字, emmmmm3000字左右。 实习总结2...

  • 半年工作总结感想

    最近在总结半年来的工作。多亏了每天的工作日志和周报,这样写半年报也好回顾和参考。根据半年年报的工作总结模版,我发现...

  • 实习半年

    今天无意中看到日期:10月22日,才发现我原来已经实习工作了整整半年,放下手中正在看的源码,好好的写一篇实习半年总...

  • 毕业实习总结报告

    时光荏苒,不知不觉中我已经在这个公司实习了近半年,我对这半年的工作做一个总结: 一、实习目的和任务 1. 通过本次...

  • 9.27辰辰精进🎐

    一、日清单 1.写好今日实习日志与听课记录,并认真完成今日实习工作。 2.写教案。 3.背25个英语单词。 总结:...

  • 2018年终总结+2019新年愿望清单

    从2017年下半年实习到现在,经历了好多犹豫好多痛苦,想着是该写个总结。 从哪里开始写呢?实习吗?关于实习我已经写...

  • 9.23辰辰精进🎐

    一、清单 1.写好今日实习日志与听课记录,并认真完成今日实习工作。 2.看教资。 3.背25个英语单词。 总结:感...

  • 9.22辰辰的精进🎐

    一、清单 1.写好今日实习日志与听课记录,并认真完成今日实习工作。 2.看教资。 3.背25个英语单词。 总结:圆...

网友评论

      本文标题:半年实习日志总结

      本文链接:https://www.haomeiwen.com/subject/zlleyftx.html