关于Neo4j的ETL

使用cypher语句的load csv的方式，将要导入的文本进行处理。每一个字符串两边使用双引号进行包裹，当中的数据中，对于双引号和反斜线进行转义。对于双引号的默认转义方式是两个双引号。所以对于每个出现的双引号前要多加一个双引号，每个反斜线转换成两个反斜线。感觉load csv和neo4j-admin import还有些不同，load csv里面对于双引号的转义，使用""，\"都可以，所以这就导致了一个问题，就是比如这样一个字符串"hello\"，导入的时候，最后一部分的\"会被当成一个转义的双引号，也就是说这个被转义的双引号是字符串本身的内容，而不是外部用来包裹这个字符串的双引号。所以neo4j会去向后边继续找用来包裹这个字符串的后边的双引号，这样就可能会引发错误。
there's a field starting with a quote and whereas it ends that quote there seems to be characters in that field after that ending quote. That isn't supported.
所以索性所有在字符串中出现的双引号，都用两个双引号""这样的方式进行转义，对于出现的反斜线，也都使用\\进行转义。
转换的代码如下，其中包括了用来包裹的双引号：
java版：

    public static String dealQuote(String str) {
        StringBuilder sb = new StringBuilder();
        int i = 0, k = 0; // k means start cursor
        while(true) {
            if(str.charAt(i) == '\"') {
                sb.append(str.substring(k, i));
                sb.append("\"\"");
                i++;
                k = i;
            } else if(str.charAt(i) == '\\') {
                sb.append(str.substring(k, i));
                sb.append("\\\\");
                i++;
                k = i;
            } else {
                i++;
            }
            if(i==str.length()) {
                sb.append(str.substring(k, i));
                break;
            }
        }
        return "\"" + sb.toString() + "\"";
    }

在IDEA中，可以将java代码直接复制到scala文件中，可以做自动转换，但是有的地方转换的不是很好，最好code review一下，其中scala中是没有break的，所以需要手动修改一下。

def dealQuote(str: String): String = {
  val sb = new StringBuilder
  var i = 0
  var k = 0 // k means start cursor
  var flag = true
  while ( flag ) {
    if (str.charAt(i) == '\"') {
      sb.append(str.substring(k, i))
      sb.append("\"\"")
      i += 1
      k = i
    } else if (str.charAt(i) == '\\') {
      sb.append(str.substring(k, i))
      sb.append("\\\\")
      i += 1
      k = i
    } else i += 1
    if (i == str.length) {
      sb.append(str.substring(k, i))
      flag = false
    }
  }
  return "\"" + sb.toString + "\""
}