My RegEx Library

5. 删除程序中的各种注释

• 首先考虑到在字符串中可能存在注释的文本，但是这些注释我们是不需要删除的，
• 所以可以加一个分支再匹配字符串
• 这时当匹配字符串开始时候，就会一直匹配到字符串结束
• 然后下次匹配的时候，是在字符串尾部继续应用正则表达式，所以不会匹配到内部
• 同理注释中字符串也不算程序中的字符串，因为在更前的位置，已经被当成注释给匹配了
• 如果既不是字符串也不是注释，传动装置才会驱动到下一个位置继续尝试

---

匹配注释的表达式

• 多行注释: /\*[\s\S]*?\*/
• 单行注释: //.*+

匹配字符串的表达式

• 单引号或双引号 字符串: (["'])(?:(?!\1)[^\n\\])*+(?:\\.(?:(?!\1)[^\n\\])*+)*+\1

所以整个表达式可以写成

• (["'])(?:(?!\1)[^\n\\])*+(?:\\.(?:(?!\1)[^\n\\])*+)*+\1|/\*[\s\S]*?\*/|//.*+

---

表达式的顺序是不重要的，但是文本中那种内容更多可能改变表达式的顺序却可以提高效率
如果要删除注释，则替换的时候替换成字符串匹配到的内容即可，如果注释匹配为空，则无影响，如果字符串为空，则注释将被删除

regex: ((["'])(?:(?!\2)[^\n\\])*+(?:\\.(?:(?!\2)[^\n\\])*+)*+\2)|/\*[\s\S]*?\*/|//.*+
replacement: $1

---

不使用忽略优先量词和环视来匹配注释的更高效版本

• regex: ((["'])(?:(?!\2)[^\n\\])*+(?:\\.(?:(?!\2)[^\n\\])*+)*+\2)|/\*[^*]*+(?:\*++[^/*][^*]*+)*+\*++/|//.*+
• replacement: $1

因为在java中测试，匹配多行注释使用这种办法效率更高，而匹配单引号和双引号不使用多选分支效率更高

---

进一步优化

• 在匹配非字符串和注释的时候，这些内容不能被匹配，表达式只能依次尝试完所有的分支报告当前位置失配，然后由传动装置驱动到下一个位置，因为java采用的是传统型nfa引擎，表达式主导，所以可以自己控制表达式的匹配，
• 在第一个分支加入匹配其他字符的表达式: [^'/"]+, 之所以不使用星号量词是因为*总是能够匹配成功，而当匹配到注释开始时，其不能匹配任何文本，也能报告成功，下一次迭代的时候，传动装置就会从下一个位置继续开始匹配，这将会把注释当成其他内容匹配而保留下来。

([^/'"]++|(["'])(?:(?!\2)[^\n\\])*+(?:\\.(?:(?!\2)[^\n\\])*+)*+\2)|/\*[^*]*+(?:\*++[^/*][^*]*+)*+\*++/|//.*+

• 然而当匹配完字符串后，接下来很可能又是其他字符，所以可以在其后添加匹配其他字符的表达式: [^'/"]+，因为也可能后面存在的是注释，如

String test = "test"/*middle comments*/;

所以我们应该使用星号量词: [^'/"]*
得到最后的表达式
([^/'"]++|(["'])(?:(?!\2)[^\n\\])*+(?:\\.(?:(?!\2)[^\n\\])*+)*+\2[^/'"]*+)|/\*[^*]*+(?:\*++[^/*][^*]*+)*+\*++/|//.*+

---

可能还会考虑到优化

• 可以把其他字符当作普通字符，注释和字符串当作特殊字符

1. normal: [^/'"]
2. special: (?:((["'])(?:(?!\2)[^\n\\])*+(?:\\.(?:(?!\2)[^\n\\])*+)*+\2)|(?:/\*[^*]*+(?:\*++[^/*][^*]*+)*+\*++/|//.*+))

• 注释非捕获，其他和字符串捕获，得到:

---

• regex: ([^/'"]*+)(?:(?:((["'])(?:(?!\3)[^\n\\])*+(?:\\.(?:(?!\3)[^\n\\])*+)*+\3)|(?:/\*[^*]*+(?:\*++[^/*][^*]*+)*+\*++/|//.*+))([^/'"]*+))*+
• replacement: $1$2$4

但实际上这是不正确的，$2和$4捕获的文本存在于量词限定之中，其捕获的文本时刻在发生改变，每次都为最后一次应用匹配到的文本。

4. 匹配程序中的字符串

• 程序中的字符串分两种，单引号字符串和双引号字符串

1. 匹配双引号字符串: "(?:[^\\"\n]|\\.)*+"
2. 匹配单引号字符串: '(?:[^\\'\n]|\\.)*+'

• 消除循环

1. "[^\\"\n]*+(?:\\.[^\\"\n]*+)*+"
2. '[^\\'\n]*+(?:\\.[^\\'\n]*+)*+'

---

• 可以用一个正则表达式来匹配单引号字符串和双引号字符串
  (["'])(?:(?!\1)[^\n\\]|\\.)*+\1
  经测试合并后的表达式相比于多选分支具有更高的效率
• 消除循环
  (["'])(?:(?!\1)[^\n\\])*+(?:\\.(?:(?!\1)[^\n\\])*+)*+\1

3. 单纯匹配程序多行注释

special部分匹配的内容是normal不能匹配的疑似结束tag的内容，但是special又不会匹配掉结束tag，所以这里可以把诺干个****...[^/*]当作special，****.../当作结束tag，之所以不能把*[^/]当作special，*/当作结束tag，是因为如果结束是**/，这样的字符，会造成special匹配**，/被normal部分匹配掉.

不使用忽略优先量词与环视

• opening: /\*
• normal: [^*]
• special: \*+[^*/]
• closing: \*+/
  regex1: /\*[^*]*+(?:\*++[^/*][^*]*+)*+\*++/
• opening: /\*
• normal*: [^*]*\*+
• special: [^*/]
• closing: /
  regex2: /\*[^*]*+\*++(?:[^/*][^*]*+\*++)*+/

---

regex3: /\*(?:(?!\*/)[\s\S])*+\*/
regex4: /\*[\s\S]*?\*/

• 在java中的效率比较
  1, 2 > 4 > 3

2. 匹配CVS文件的内容

• 匹配hsdh,"gsg ""gsasg""ga",,gs,"",asghs
• 得到 hsdh，"gsg ""gsasg""ga"，，gs，""，asghs

---

regex1: (?:(?<=,)|^)(?:[^\n,]*+|"(?:[^\n"]|"")*+")
regex2: (?:(?<=,)|^)(?:[^\n,]*+|"[^\n"]*+(?:""[^\n"]*+)*+")

1. 为数值添加逗号

问题：

• 将类似298444215替换成298,444,215

解决办法：

1. 前面要存在数字——使用(?<=\d)
2. 后面要存在数字且是3的整倍数——(?=(?:\d\d\d)+$)

---

regex: (?<=\d)(?=(?:\d{3})++$)
replacement: ,