零，应用场景
刚刚接触arcgis不久，最近有需求增量同步其他数据库的地理数据到arcgis server 使用的sql server数据库中，升级为Geodatabase的sqlserver数据库不方便直接往数据表中更新数据，更新数据只能通过其预制的存储过程（猜想），提供的feature access接口，或者重新发布更新后的要素，要从其他数据库自动同步数据到已经发布的图层，本文介绍一种kettle+feature access的方案。
为什么用kettle呢?1. 快，接触水壶两天就走通技术路线了；2.能够Post；3.水壶好像很受欢迎。
feature access提供的rest api有增删查改操作，怎么发布feature access服务这里就不再描述，可以参考arcgis文档。
feature access REST接口
增量同步数据的具体需求尚不明确，但无非是：1，只更新，2，只新增，3,更新又新增，4，增删改，这个以后再深入探讨，本文主要讨论通过kettle的post请求功能来进行要素的同步。
本文将从kettle小白的角度实现一个简单的技术demo，有待完善的地方欢迎一起研究。
一，kettle安装
kettle是一款不错的ETL工具，可以省下写原生代码进行ETL的功夫。
首先下载kettle，下载页在这里：下载页，找到Downloads下载即可。
下载页
下载完毕，解压压缩包，双击运行Spoon.bat就可进入kettle的可视化操作界面，忘了说了，要想使用kettle得先准备好java环境，本人使用的是64位jdk1.8.1，如果启动过程出现问题可以使用SpoonDebug.bat进行启动，然后检查SpoonDebug.txt进行排错。
调试工具
二，数据库连接和表输入
进入勺子（Spoon.bat），新建一个“转换（transformation）”任务，这个“转换”就负责执行我们同步数据的具体流程。新建“表输入”，在“编辑”中设置好数据库连接（这里以mysql为例），
数据库连接
设置好数据库字符集，不设置字符集可能导致乱码，
设置字符集
点击“获取SQL查询语句”选择需要导入的表和选择需要同步的字段，在增量更新的应用场景中需要在SQL中限制数据的更新日期或创建日期，并使用kettle记录最近一次同步的日期，这个以后再讨论。这里可以限制从表导入的数据的行数。
数据选择
三，POST请求参数的封装
在“转换”中新建一个JavaScript脚本，然后按住Shift从刚刚建立的“表输入”中拖拉一个箭头指向JS脚本，这个箭头将表输入的数据传输给JS脚本，一行一行地传输的，因此在JS脚本中是一行一行地处理的（有多行同时处理的方法吗？）。
JS脚本建设
通过这个JS脚本完成下一步POST请求的参数的封装，这里需要查看一下Feature Access接口的API Reference，在熟悉Kettle之前建议先使用Postman确认接口参数的正确性。本文以新增要素（Add Features）功能作为示范，这个接口是可以同时更新多个要素的，但是由于JS脚本是一条一条处理数据的（由于懒），本文示范一条一条地POST。在这里我们拼装features(待更新要素)，f(返回值格式),rollbackOnFailure(失败后回滚)三个参数。其中features参数的拼装最为麻烦，需要将数据放入json，然后再调用JSON.stringify(str);。
API REFRENCE
KETTLE中JS脚本的流程是输入一行数据，经过一番处理后指定输出的字段，JS脚本将指定的字段通过箭头输出到下一步操作。左侧红框内是上一步输入到该步的数据，可以在脚本中直接操作，下面红框是指定的输出字段，这些字段将输出到下一步作为参数。我们也将POST请求的URL和Header在这里生成。“获取变量”按钮可以自动从代码中指定输出字段，同时还可以自动检查语法错误。
JS脚本
四，每一条记录POST的设置
加入一个“Http Post”任务，或者“Rest Client”也可以，从上一步拉出箭头来接上。
Post参数传递
从上一步输入的字段中选择好请求地址，设置好字符集，在Output fields里面指定该步骤输出字段的名称，后面日志输出要用。
General设置
点击进入Fields，设置好请求的参数，设置好Header参数。注意请求的参数名要和Feature Access中参数名对应哦。
POST参数的Mapping
五，POST结果当做日志输出
新建“文本文件输出”，从上一步输入“result”字段作为日志内容。
更新日志的输出
选择好存放的文件夹，扩展名，本案例中其他参数使用默认就行了。
文本输出
在“字段”中选择输出到日志中的字段，该文本将会累计所有的行的日志并将它们一口气输出为一个文件。调试过程中日志的打印尤其关键。
字段输出
六，测试结果
完成，调试一条数据，成功运行！是不是很方便呢，比徒手写原生代码同步快多了。
总体过程
测试1000条数据，耗时16.4秒。这个案例每一条数据post一次，在生产环境中可以积累所有的数据post一次完成。
运行记录
数据源字段如图，来源百度地图POI。
数据源
更新结果可以马上在arcgis server 中查看。
效果
七，OVERVIEW
乱码问题：
在调试中遇到数据提交到sqlserver乱码的情况，最后检查为Arcgis Server内置Tomcat配置的问题，折腾了半天加上一段配置解决问题。
Tomcat配置
重复并作为本地程序运行：
作为本地程序（或服务）更轻便，更方便启停。
在勺子中建立一个job，job中调用刚刚创建的转换，在START设置循环时间：
循环时间
同步前检查网络状况，同步结束后将日志发送到邮箱内。
检查网络，发送邮件
新建一个批处理程序（.bat），编辑内容如下（根据实际情况修改盘符和kitchen.bat所在位置）：
d:
cd D:\data-integration
kitchen /file:D:\data-integration\samples\jobs\firstjob.kjb
也可以通过命令行运行该job：
参考文献
总结：
第一次写技术文章，刚刚上手kettle两天还不知道怎么一次处理多行数据，后面会继续记录使用kettle进行增量同步的过程。
网友评论