近期在做爬虫相关业务，初来团队人很少，架构也比较随便，我本人对爬虫也不曾接触过，于是想整理一篇爬虫的架构，一是我这半吊子架构师的本职工作，二是让自己深入理解这块业务。
现在总结下，好的架构设计需要具有那些特点：
1 完整
爬虫架构前后做了三版，现在回想期最初的架构，禁不住想笑，刚来团队3天就做了架构图，说给卖白菜的大爷都不信这事儿能靠谱，当时自己左问问、又问问身边的同事，就这么自信的，以为对整个业务和流程已经了然于胸，进而想当然的提出当前架构的问题和解决方案。
现在回想 第一版的主要原因是 在准备不充足，对现有系统和业务了解不充分的前提下做的，当然做的架构是不准确的，如同盲人摸象
2 标准的、（易懂的、简单的，是无壁垒）
周会上老板让我画下爬虫初版架构，在我唯唯诺诺的乱涂乱画下，老板投来茫然的眼神，那一刻我意识到，第一版我自己都没做到烂熟于胸，以至于无法顺畅输出自己本以为能说清的“架构”，另外初版还暴露一个的问题就是架构图需要专业的UML图示，而不是自己西拼八凑弄来的，不禁让我想起8年前读UML用户指南，里面有一句意思是“UML的作用是让架构的分享和交流标准化”，当你用大家都懂的一类语言去交流自然不存在问题。会后我决定对架构的再设计进行两个子工作：1完整的了解爬虫业务流程，2输出UML的序列图和部署图。感谢同事“小胖”在业务流程图上给予的帮助。
在标准化之后，随之而来的就是易懂的、简单的，是无壁垒，在周末给所有人分享爬虫目标架构的会上，我们的产品“娜姐，阿清”，会后表示能懂，因为技术是产品的实现，通过标准化的UML图，那么产品和技术沟通就顺其自然了。
3 目标明确的、准确的、易维护的，易扩展的。
当我做完第二版，我开始飘飘然、洋洋自得，准备Show这版“架构”，我先找到同事“小胖”继续对第二遍架构进行Review,小胖说了一句话，更复杂了，我问道哪里复杂了，慢慢的交流后我发现，小胖内心有自己的对新架构的理解，小胖比我要更加熟悉爬虫的代码，当然一个牛叉的技术肯定对所做的产品有自己的架构认识，我们聊了很久，相互融合想法，最后输出第三版，此时回头看第三版和第二版的差别，我发现第三版架构目标更明确：①可以明显看出要解决问题的抽象“完整的抽象爬虫三层，1层是服务编排，2层是异步爬取任务，3层是数据服务模型”，②从顺序图上可以明显区分爬取任务的同步阶段和异步阶段。
架构更准确：架构图通过分享，大家反馈是完整的，准确的描述了业务，我们的QA同学“辉哥”从起初的疑问到后来完全认同，我能感受到他对这份架构的准确性的肯定。
易维护的，易扩展的：任何架构都必须谈易维护，易扩展，就好像 谈明星必须八卦一样，架构的除为了明确团队目标，传达分享以外，它的易维护、易扩展，其实是从成本考虑的，任何项目如何去做才能减少成本，都是架构师和项目经理去费尽心思去思考的问题。
另外，架构不是一蹴而就的，不能一刀切，针对第三版架构老板“波哥”给出简化版的建议，鉴于目前基础设施”Mesos+Marthon、配置平台“等尚不完善，我们可以分步骤。
最后想说，架构不是一张纸，你必须盘活它，分享它，这就是落地的问题，今天我召集了爬虫团队所有人，会前我提到“对于爬虫架构可能每个人都有自己的理解，但是我们不能人人一个想法，或者人人都没想法，目标必须统一”，会中和会后通过伙伴们的反馈，我发现这个会开对了。
网友评论