主题缘由

由于app首页需要展示B端发布的需求，但是一开始我们服务端是没有任何需求展示的，所以想到了爬虫，很早的时候想要抓取信息分类网站的信息，一直未动手，最近迫不得已，直接进入正题。

1.分析所需网页数据

这里我们用某服务众包网站举例：url=http://www.zbj.com/ydyykf/tp1.html， 打开开发者工具，这里tp%d对应的是可递增的页数，分析如下图所示:

Paste_Image.png
从html可以看出我们的重点就在table列表，我们就来获取3个字段：价格，项目名称，项目简介。我们继续深入挖掘，找到对应3个字段的html元素，如下图：
Paste_Image.png
ok，网页数据我们已经分析完了，可以开始爬了。

2.爬数据

• 说到爬虫，最容易想到的就是python，BeautifulSoup是python的一个库，最主要的功能是从网页抓取数据，形成一个类似树状结构的文档。

安装BeautifulSoup，执行：pip install BeautifulSoup

主要代码如下：

# !/bin/env python
#encoding=utf-8

import urllib2
import urllib
import os
import sys 
import leancloud
from fileOp import *
from leancloud import Query
from BeautifulSoup import BeautifulSoup

#reload(sys)  
#sys.setdefaultencoding('utf-8')
#print sys.getdefaultencoding()

def parseHtml(index):

  #解析HTML
  html = urllib2.urlopen('http://www.zbj.com/ydyykf/tp%d.html'%(index)).read()
  soup = BeautifulSoup(html)
  table = soup.findAll('table', attrs={'class':'list-task'})
  if(len(table) <= 0):
    print "exit zbjSpider"
    saveIndex(0)
    sys.exit()
  tbody = table[0].findAll('tr')

  print "===================index=%d=================="%index
  index += 1;
  saveIndex(index)

  for tr in tbody:
    price = tr.findAll('em', attrs={'class':'list-task-reward'})[0].string
    #去除¥
    newPrice = price.replace('¥','').strip();
    title = tr.findAll('a', attrs={'class':'list-task-title'})[0].string
    introduce = tr.findAll('p', attrs={'class':'list-task-ctn'})[0].string
    print "price=%s, title=%s, introduce=%s"%(newPrice, title, introduce)
    #保存数据到leancloud
    saveData(newPrice, title, introduce);

def saveData(price, title, introduce):
  #init leancloud
  leancloud.init('IRLv1lvUGypwG5XCKF248SiG-gzGzoHsz', '2lRAArUswyFeFTtIXl2wC6b5')
  #sql
  Query.do_cloud_query("insert into table_prjList(price, title, introduce) values(?, ?, ?)", price, title, introduce)

def main():
  if(len(sys.argv) != 2):
    print 'lenth of argv Error!'
    return
  index = sys.argv[1]
  parseHtml(int(index))

if __name__ == '__main__':
  main();

3.保存数据到服务端

这里我要用的是一个第三方平台，介绍如下图：

Paste_Image.png

看了这图大家应该知道这个平台是干什么的了，我们个人开发者不用找php伙伴和购买服务器，该平台都帮我们完成了，我们来看下python下如何使用：

• 1.像其它第三方框架一样，需要创建应用，得到appkey和appid；
• 2.python下导入该框架；
• 3.尽管该平台把关系型数据库封装了，表当作对象，字段当做属性，如果你熟悉sql，使用起来会很方便，看上面的代码片段，saveData函数，Query.do_cloud_query("insert into table_prjList(price, title, introduce) values(?, ?, ?)", price, title, introduce)，该平台自定义了一种语句叫cql，反正使用起来跟sql没两样；

• 4.登录leancloud，查看服务器控制台，看我们的表中是否有数据，如下图：

  
  Paste_Image.png
• 5.至此，我们自己的服务端就有数据了，接下来只要移动端访问就行了。
• 6.扩展：我们不可能总是手动去执行这些脚本，就直接在服务端放个脚本定时执行吧，脚本片段如下：

# !/bin/bash
python /Users/fanmaoyu/Desktop/python/zbjClear.py
while true
do
    cat /Users/fanmaoyu/Desktop/python/index | (while read line;
    do  
        if [ $line -eq 0 ];then
            exit 0
        else
            python /Users/fanmaoyu/Desktop/python/zbjSpider.py $line
        fi  
    done)
done

crontab任务定时在每日0点执行上面的脚本

0 0 * * * /bin/sh /Users/fanmaoyu/Desktop/python/spider.sh &

4.客户端访问数据

在iOS下同样可以使用sql访问，而且是直接访问leancloud服务器，都不需要我们写网络框架，如下代码：

NSString *cql = [NSString stringWithFormat:@"select * from %@ limit 100", @"table_prjList"];
[AVQuery doCloudQueryInBackgroundWithCQL:cql callback:^(AVCloudQueryResult *result, NSError *error)
     {
         NSArray *array = result.results;
         
         for(AVObject *obj in array)
         {
             
             NSString *price = [obj objectForKey:@"price"];
             NSString *title = [obj objectForKey:@"title"];
             NSString *introduce = [obj objectForKey:@"introduce"];
             PrjModel *model = [[PrjModel alloc]init];
             model.price = price;
             model.title = title;
             model.introduce = introduce;
             
             [self.dataArray addObject:model];
         }
         
         [self.tableView reloadData];
     }];

我们看下iphone上的展示效果：

Paste_Image.png

至此，我们个人就完成了移动端，服务端开发的一个“闭环”

详见demo