R语言：rvest抓取网页信息

好久没有用R了，今天复习了下，用rvest写了个抓取 http://pubmed.cn 网站关键字搜索结果的脚本，分享一下。

需求

• 按关键字搜索, 并记录文章列表中的链接等信息。
• 打开文章页面, 提取其中的abstract摘要信息。

分析网站请求

打开网站, 输入关键字 disease ，可以得到搜索链接，明显是GET请求
http://pubmed.cn/search?q=disease&p=2&pn=20&vt=Summary&ot=PublicationDate&st=main&dt=&ft=
观察链接，可以看出 q=disease 是关键字, p=2 是页码, pn=20 是每页记录数, 其它的参数也都可以尝试出来

搜索列表抓取函数

library("rvest")

getPageList <- function(purl){
    # 读取页面
    page <- read_html(url, encoding="utf8")
    # 按照CSS选择器的语法, 选择页面中 <form id="EFORM"><div id="SFW"><div class="rprt">...</div></div></form> 中的内容
    tmp <- html_nodes(page, css="form#EForm>div#SFW>div.rprt")
    # 选择<h3 class="title" title="..."></h3> 中的 title="..." 属性值
    title <- html_nodes(tmp, css="h3.title") %>% html_attr("title")
    # 选择href属性值
    furl  <- html_nodes(tmp, css="h3.title>a[target=_blank]") %>% html_attr("href")
    # 选择authors等标签内的文本, 并进行gsub处理掉其中的空格等多余字符
    authors <- html_nodes(tmp, css="p.authors") %>% html_text() %>% gsub(pattern=" {2,}|\n|\r", replacement="")
    sources <- html_nodes(tmp, css="p.source") %>% html_text() %>% gsub(pattern="\r|\n *", replacement=" ")
    pmid <- html_nodes(tmp, css="p.pmid") %>% html_text() %>% gsub(pattern="\r\n| ?|\u00A0",replacement="")
    # 结果保存入dataframe并返回
    iData <- data.frame(Title=title, FUrl=furl, Authors=authors, Sources=sources, Pmid=pmid, stringsAsFactors = FALSE)
    return(iData)
}

抓取摘要abstract的函数

getAbstract <- function(furl){
    # 拼接页面链接
    furl <- paste("http://pubmed.cn", furl, sep="")
    print(furl)
    # 提取出摘要字符串
    tmp <- read_html(furl) %>% html_nodes(css="div#SFW>p.abstract") %>% html_text %>% gsub(pattern="Abstract(\\n)*(\\t)*|\\n\\t*", replacement="")
    # 有的页面没有摘要信息, 会返回 character(0) , 需要做个处理, 否则会报错
    if (identical(tmp, character(0))){
        tmp <- ""
    }
    # 返回结果
    return(tmp)
}

抓取单页信息做测试

url <- "http://pubmed.cn/search?q=disease&p=2&pn=20&vt=Summary&ot=PublicationDate&st=main&dt=&ft="
td <- getPageList(url)
for(i in 1:nrow(td)){
    td[i,"Abstract"] <- getAbstract(td[i,2])
}

使用apply函数做遍历

R的apply函数族, 效率确实比for循环要快

td["Abstract"] <- apply(td, 1, FUN=function(x){getAbstract(x[2])})