接上文。
在迁移之后,老板问我,有没有可能把所有业务都迁移到Spark上。说实话,有想过,但是,没有实施的主要原因是在spark上没办法用Spring框架。
其实这只是表象,如果业务不复杂,纯粹消耗计算资源,那完全没必要用什么框架。相反,以目前我对于Spark的了解,用它来实现业务逻辑基本上属于南辕北辙。
我希望放在Spark上的东西是纯粹的,没有业务属性的,或者说至少没有太多业务属性的。如果把后续代码迁移上去,首先是并不适合用RDD实现,即使做到了,后期维护成本也很高。其次是不利于后续架构继续演化。我一直期望的,是把系统的每一个环节用最合适的方式来实现,并且,对于拆分的颗粒度是1-2周内可以完成彻底重构。
比如,最近有个想法是通过ES完成基于标记结果的检索。如果全部迁移到Spark那这部分估计就没办法实现了。
网友评论