R爬虫实践—抓取国自然基金信息【下篇】

R爬虫实践—抓取国自然基金信息【上篇】和R爬虫实践—抓取国自然基金信息【中篇】都是对国自然数据的局部抓取，突然发现费这劲也是蛮傻的，直接爬取所有信息不是更省事嘛，哎，有时候真的不能怪别人说自己轴了。

首先，打开网页http://fund.zsci.com.cn/，在学科分类中选择医学科学部，批准年度选择2019，得到约8000多条国自然信息。

image

具体如何爬取？

爬取策略上和上两篇有不同之处，之前都是直接爬取下图左侧中的信息，这次想让信息更为全面，进入每条国自然详情页面进行的信息抓取。

image

首先，获取首页国自然信息的详情页链接，

#进入总网页第一页
url1<-c("http://fund.zsci.com.cn/Index/index/xk_name/%E5%8C%BB%E5%AD%A6%E7%A7%91%E5%AD%A6%E9%83%A8/xkid/3416/start_year/2019/end_year/2019/xmid/0/search/1/p/1.html")
#读取网页内容
web <- read_html(url1,encoding = "utf-8")
#获取第一页所有记录的网址信息
link <- web %>% html_nodes('ul.layuiadmin-card-status a') %>% html_attr("href")  
link <- paste0("http://fund.zsci.com.cn/",link)
link

然后，获取检索结果最大页码，

#进入总网页第一页
url1<-c("http://fund.zsci.com.cn/Index/index/xk_name/%E5%8C%BB%E5%AD%A6%E7%A7%91%E5%AD%A6%E9%83%A8/xkid/3416/start_year/2019/end_year/2019/xmid/0/search/1/p/1.html")
#读取网页内容
web <- read_html(url1,encoding = "utf-8")
lastpage_link <- web %>% html_nodes("div.layui-box a") %>% html_attr("href")
lastpage_link <- paste0("http://fund.zsci.com.cn/",lastpage_link[length(lastpage_link)])
#获取总页数
lastpage_web <- read_html(lastpage_link,encoding = "utf-8")
lastpage_number <-  lastpage_web %>% html_nodes("div.layui-box span.current") %>% html_text() %>% as.integer()

最后，正式开始爬取~~~ 具体思路过程：先爬取首页信息的详情页链接———利用循环获取首页20个详情页面内的信息——然后开始第二页（如此循环往复）——直到最后一页的最后一条信息。

i=1
site <- 'http://fund.zsci.com.cn/Index/index/xk_name/%E5%8C%BB%E5%AD%A6%E7%A7%91%E5%AD%A6%E9%83%A8/xkid/3416/start_year/2019/end_year/2019/xmid/0/search/1/p/'
#创建一个空的数据框用来存储抓取的数据
results <- data.frame(ID="基金号",Title="题目",Author="负责人",Position="职称",Department="申请单位",
                      Type="研究类型",Project="项目批准号",Date="批准年度",Money="金额",
                      dateline="研究期限",Keywords_chinese="中文关键词",Keywords_english="英文关键词")

for(i in 1:lastpage_number){
  url <-paste0(site,i,".html")
  web <- read_html(url)
  #获取第一页所有记录的网址信息
  link <- web %>% html_nodes('ul.layuiadmin-card-status a') %>% html_attr("href")  #获取了负责人和单位信息
  link <- paste0("http://fund.zsci.com.cn/",link)

  a=1
  for (a in 1:length(link)) {
    link_web <- read_html(link[a],encoding = "utf-8")
    #---获得基金标题---
    Title <- link_web %>% html_nodes('div h2') %>% html_text() # 标题内容解析
    Title
    #---获得众多信息---
    Information <-  link_web %>% html_nodes('div.layui-table-body div') %>% html_text()
    Information
    #---获取基金ID号---
    ID <- Information[seq(3,length(Information),11)]
    ID
    #---获取负责人信息---
    Author <-  Information[seq(4,length(Information),11)]
    Author
    #---负责人职称---
    Position <- Information[seq(5,length(Information),11)]
    Position 
    #---获得申请单位---
    Department <-  Information[seq(6,length(Information),11)]
    Department
    #---获取研究类型---
    jijintype <-  Information[seq(8,length(Information),11)]
    jijintype
    #---获得项目号---
    Project <-  Information[seq(1,length(Information),11)]
    Project
    #---获取批准时间---
    Date <-  Information[seq(2,length(Information),11)]
    Date
    #---获取基金金额---
    Money <- Information[seq(7,length(Information),11)]
    Money 
    #---获取研究期限---
    dateline <- Information[seq(9,length(Information),11)]
    dateline
    #---获取关键词---
    Keywords_chinese <- Information[seq(10,length(Information),11)]
    Keywords_chinese
    Keywords_english <- Information[seq(11,length(Information),11)]
    Keywords_english

    result <- data.frame(ID=ID,Title=Title,Author=Author,Position=Position,Department=Department,
                         Type=jijintype,Project=Project,Date=Date,Money=Money,dateline=dateline,
                         Keywords_chinese=Keywords_chinese,Keywords_english=Keywords_english)
    #合并某一页面数据成数据框
    results <- rbind(results,result)
  }
}

最终爬取结果如下，由于信息较多，爬取速度会慢一些。

image

往期回顾
R爬虫在工作中的一点妙用
R爬虫必备基础——HTML和CSS初识
R爬虫必备基础——静态网页+动态网页
R爬虫必备——rvest包的使用
R爬虫必备基础——CSS+SelectorGadget
R爬虫必备基础—Chrome开发者工具(F12)
R爬虫必备基础—HTTP协议
R爬虫必备—httr+POST请求类爬虫（网易云课堂）
R爬虫必备基础—rvest为什么不用于动态网页？
R爬虫必备——httr+GET请求类爬虫（解螺旋课程）
R爬虫实战—抓取PubMed文章的基本信息
R爬虫实践—抓取国自然基金信息【上篇】
R爬虫实践—抓取国自然基金信息【中篇】