美文网首页
网络爬虫入门 (三) 正则表达式

网络爬虫入门 (三) 正则表达式

作者: 闻榴莲的猫 | 来源:发表于2018-07-17 15:36 被阅读0次

一、简介

正则表达式是一个特殊的字符序列,可以很方便的检查一个字符串是否与某种模式匹配。Python中使用正则表达式的是re模块

二、匹配函数

匹配函数主要有:

  • re.match(pattern, string[, flags])
  • re.search(pattern, string[, flags])
  • re.split(pattern, string[, maxsplit])
  • re.findall(pattern, string[, flags])
  • re.finditer(pattern, string[, flags])
  • re.sub(pattern, repl, string[, count])
  • re.subn(pattern, repl, string[, count])
    使用匹配函数前需先用re初始化正则表达式返回pattern对象进行匹配
pattern = re.compile("python")
1. match()函数

match()函数从开始进行匹配,直到匹配到相应的符合规则的字符或末尾就停止匹配,注意如果字符不在开头需使用正则匹配,在使用过程中遇到过正则表达式正确却不建议使用match()

result = re.match(pattern, "python")
print(result.group(0))
result2 = re.match(pattern, "python123")
print(result2)
result3 = re.match(pattern, "pyton123")
print(result3)
result4 = pattern.match("abcdefpythonfff", 6, 12)
print(result4)
pattern = re.compile("(python)(python)")
result5 = re.match(pattern, "pythonpython,python")
print(result5.group(0))
print(result5.span(0))

输出结果为:

> hello
> <_sre.SRE_Match object; span=(0, 6), match='python'>
> None
> <_sre.SRE_Match object; span=(6, 12), match='python'>
> pythonpython
> (0, 10)
2. findall()函数

相较match函数容易使用,可以查找到所有符合规则的字符。

result = re.findall(pattern)

三、牛刀小试

下面使用requests爬取天猫首页的所有链接并存储到Excel表格中。
天猫首页地址:http://www.tmall.com
进入控制台查看页面结构发现天猫首页链接格式如下图:

天猫首页链接
想要抓取href对应的内容以及a标签的文案,对应的正则表达式为<a href="/*(.+?)">(.+?)</a>,
以下是最终代码:
import requests
import re
import xlwt
response = requests.get("http://www.tmall.com")
if response.status_code == 200:
    html = response.text
    # print(html)
    links = re.findall("<a href=\"/*(.+?)\">(.+?)</a>", html)
    # print(links)
    rowCount = 0
    wbk = xlwt.Workbook("./tmalllinks.xls")
    w_sheet = wbk.add_sheet("表01")
    for url, name in links:
        print("名称:", name, "路径:", url)
        w_sheet.write(rowCount, 0, name)
        w_sheet.write(rowCount, 1, url)
        rowCount += 1
    wbk.save("./tmalllinks.xls")

相关文章

网友评论

      本文标题:网络爬虫入门 (三) 正则表达式

      本文链接:https://www.haomeiwen.com/subject/tfrwpftx.html