android利用正则设计的爬虫工具

看过Jsoup之类的爬虫工具，觉得不太简洁，因为有时候爬虫并不需要爬大量数据。平时自己也是用正则匹配来爬取网页上的一些内容，还觉得挺方便。这几天把自己的这种抓数据策略封装了一下，感觉还挺好用的，分享一下。

因为是临时想到的，所以封装的时间也不多，很多地方也没想

github地址（里面有demo）觉得有用希望点个赞哦~有问题或者建议请提出来，有时间立即改善。

---

这里以新浪新闻为例，抓取网页中所有新闻的图片链接和标题

为了体现这个工具的简单粗暴，这里先把关键代码展示出来O(∩_∩)O

MyRegex myRegex = new MyRegex();
//开启log输出
myRegex.setIsLog(true);
//https://sina.cn/?vt=3是手机版的链接
//电脑版网页涉及多种正则，由于赶时间懒得写代码了O__O "…
myRegex.build("https://sina.cn/?vt=3", new MyRegex.BuildCallback() {
    @Override
    public void onFinish(MyRegex myRegex) {
            
    //关键步骤就仅仅这三步
    myRegex.RegexInclude("<img","/>");//id == 1，先解析一部分
    myRegex.RegexExcept("alt=\"","\"");//id == 2，解析标题
    myRegex.RegexExcept("data-src=\"","\"",3,1);//id == 3，解析图片链接
                
    //将解析后的数据保存在集合里使用
    List<String> titleList = myRegex.regexList.get(2);
    List<String> imgList = myRegex.regexList.get(3);
    }
});

下面展示一下怎么具体地去设置这些参数

• 首先去链接里查看原始html，自己分析一下

1.png 2.png

发现所有的新闻有上面两张图两种格式。

• 观察这两种新闻的格式，不难发现，主体部分都是由< img（内容）/>包装的，我们需要获取这个包装，使用方法

myRegex.RegexInclude("<img","/>");//第一次解析

就将包括标签在内的解析内容全部存放在了工具类中的集合里。

那么，保存在集合里第几个位置呢？

只需要看这是第几次解析就可以了，从1开始，每次解析保存的位置加一。

• 例如，如果我想保存这次解析的内容，那么用以下方法，括号内参数为解析的次数

List<String> contentList = myRegex.regexList.get(1);

当然，现在拿到的数据并不是我们需要的，我们需要将这些数据再次解析。

这些数据的格式

![地表最强175超神表现](http:https://img.haomeiwen.com/i3819473/819e8ba28b5d22af.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

• 我们需要得到data-src="（内容）"这里面的图片链接，并且需要得到alt="（内容）“这里面的标题。

  之前的方法将会把外壳也一起匹配下来，所以不行，用Except方法

  myRegex.RegexExcept("alt=\"","\"");//第2次解析，解析的标题
  

  和前面的操作很像吧，还是把这外壳当做参数放进去，获取到了标题

• 最后需要获取图片链接

  由于继续解析的话会解析上一次解析后的数据，所以这次解析的数据必须是第1次解析后的数据

  使用这个方法

  这里的第三个参数就是当前的解析次数。第四个参数是目标解析次数，这里我们需要解析第1次后的数据，所以填1

myRegex.RegexExcept("data-src=\"","\"",3,1);//第3次解析

最后保存数据

List<String> titleList = myRegex.regexList.get(2);//将第2次的解析内容保存到标题集合
List<String> imgList = myRegex.regexList.get(3);//将第3次的解析内容保存到图片地址集合

---

就这么就完成了，是不是很简单~