记一次 刷邀请量

前言

最近在某资源论坛发现寻找多日的学习资料，无奈下载附件需要金币，虽然充值并不贵，但正所谓 Write the Code. Change the world，作为程序员，用平身所学来解决问题，那种感觉才爽。在该论坛的积分系统中，是可以通过点击邀请链接来获得金币的，这个模式很多论坛也有，于是乎便想写个小demo，通过代理访问邀请链接，达到刷金币目的，一逸永劳。

采集

原理既然是通过代理访问邀请链接，那么肯定是需要代理ip的，代理IP这个网址有，质量可能不是特别好，不过没关系，又不是找女朋友，不需要宁缺毋滥，量大就行。

之前本来打算手动复制代理保存到本地，然后用代码读取，最后想想怎么能用这么low的方法呢，还是用jsoup来解析html，采集代理ip吧。

jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

jsoup的使用比较简单，api文档也比较清晰明了，我们主要通过getElementsByTag(String tag) ，getElementsByClass(String className)， attr(String key)，text() ，html()等方法查找元素，元素数据等我们需要的内容。

获取详情页地址

通过浏览器的审查元素功能，我们可以看到 class 为 newslist_line 下的所有 <a> 标签对应的 href 就是代理详情页的地址。

审查元素

这里只解析了前几页，太多了也浪费时间。

    /**
     * 从首页中获取代理详情页的网址
     */
    private static List<String> getProxyList() {
        List<String> lists = new ArrayList<>();
        // 解析前MAX_PAGE页
        for (int i = 1; i <= MAX_PAGE; i++) {
            String path = "http://www.youdaili.net/Daili/http/list_" + i + ".html";
            try {
                Document document = Jsoup.connect(path).timeout(3000).get();
                Elements newsListElements = document.getElementsByClass("newslist_line");
                // 只有一个
                Element list = newsListElements.first();
                Elements links = list.getElementsByTag("a");
                for (Element link : links) {
                    String href = link.attr("href");
                    if (href != null && href.length() > 0) {
                        lists.add(href);
                    }
                }
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
        return lists;
    }

解析详情页中的代理

同理，详情页中，从 class 为 cont_font 下的 <p> 标签下的 <span> 就能获取到所有的代理ip了。

审查元素

很多情况 getElementsByClass 返回 Elements 的 size 都大于1，我们也可以通过其他API来获取到我们想要的内容，这里比较简单,获取到的 Emements.size() 都为1。

     /**
     * 从详情页中解析代理地址
     */
    private static List<String> getProxyAddr(String url) {
        List<String> lists = new ArrayList<>();
        try {
            //  class cont_font --> tag p --> tag span --> br 分割
            Document document = Jsoup.connect(url).timeout(3000).get();
            Elements contentElements = document.getElementsByClass("cont_font");
            // 只有一个
            Element content = contentElements.first();
            Elements pElements = content.getElementsByTag("p");
            // 也只有一个
            Element p = pElements.first();
            Element span = p.child(0);
            String[] split = span.html().split("<br>");
            for (int i = 0; i < split.length; i++) {
                lists.add(split[i].trim());
                System.out.println(split[i].trim());
            }

        } catch (IOException e) {
            e.printStackTrace();
        }
        return lists;
    }

发起请求

接下来的处理就更加简单了，弄个线程池，开个多线程，给http请求设置下proxy就ok了。

1. 初始化线程池，至于最优性能的线程个数这里就不考虑了，随便定义了下。

       private static ExecutorService cachedThreadPool = Executors.newFixedThreadPool(10);
   

2. 之前我们拿到了代理详情页每行数据(222.45.196.46:8118@HTTP#江苏省淮安市 铁通)的集合，我们继续获取地址和端口，生成下InetSocketAddress的集合.

         /**
        * 获取代理地址
        */
       private static List<InetSocketAddress> generateInetScoketAddr(List<String> proxyList) {
           List<InetSocketAddress> inetSocketAddresses = new ArrayList<>();
           for (String proxyStr : proxyList) {
               String addr;
               int port;
               int firstKeyIndex = proxyStr.indexOf(":");
               if (firstKeyIndex != -1) {
                   addr = proxyStr.substring(0, firstKeyIndex);
                   int secondKeyIndex = proxyStr.indexOf("@");
                   if (secondKeyIndex != -1) {
                       port = Integer.valueOf(proxyStr.substring(firstKeyIndex + 1, secondKeyIndex));
                       System.out.printf("addr:%sport:%d%n", addr, port);
                       inetSocketAddresses.add(new InetSocketAddress(addr, port));
                   }
               }
           }
           return inetSocketAddresses;
       }
   

3. 最后通过线程池发起请求

       /**
        * 开始任务
        *
        * @param proxyLists
        */
       private static void excuteTask(List<InetSocketAddress> proxyLists) {
           for (InetSocketAddress intSocketAddrees : proxyLists) {
               cachedThreadPool.execute(new Runnable() {
                   @Override
                   public void run() {
                       doGet(intSocketAddrees);
                   }
               });
           }
       }
   
       /**
        * 执行请求
        *
        * @param intSocketAddrees
        */
       private static void doGet(InetSocketAddress intSocketAddrees) {
           HttpURLConnection conn = null;
           try {
               URL url = new URL(Main.url);
               // 设置代理
               Proxy proxy = new Proxy(Proxy.Type.HTTP, intSocketAddrees);
               conn = (HttpURLConnection) url.openConnection(proxy);
               // 设置user-agent
               conn.setRequestProperty("user-agent",
                       "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1;SV1)");
               // 设置不缓存
               conn.setRequestProperty("Cache-Control", "no-store");
               conn.setRequestProperty("Pragrma", "no-cache");
               conn.setUseCaches(false);
               conn.setRequestMethod("GET");
               conn.setConnectTimeout(6000);
               conn.setReadTimeout(6000);
               conn.connect();
               if (conn.getResponseCode() == HttpURLConnection.HTTP_OK) {
                   // 有可能也会失败的
                   System.out.println("may success");
               }
           } catch (MalformedURLException e) {
               System.out.println("Exception");
           } catch (IOException e) {
               System.out.println("Exception");
           } finally {
               if (conn != null) {
                   conn.disconnect();
               }
           }
       }
   

最后看下效果。（对了，老司机友情提示，这个方法还可以刷1024！1024！1024！具体怎么玩，自己去尝试吧！）

积分