人生苦短，我用Python，试了下最基础的爬虫，果然方便
import urllib.request
import ssl
def get_page(url):
ssl._create_default_https_context = ssl._create_unverified_context
headers = {
'User-Agent': r'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
r'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3',
'Referer': r'http://www.lagou.com/zhaopin/Python/?labelWords=label',
'Connection': 'keep-alive'
}
req = urllib.request.Request(url, headers=headers)
page = urllib.request.urlopen(req).read()
page = page.decode('utf-8')
return page
result = get_page("https://www.qiushibaike.com")
# print(result)
soup = BeautifulSoup(result, "html.parser")
# print(soup)
# print(soup.prettify())
content_left = soup.find_all(id='content-left')[0]
articles = content_left.find_all('div', class_='article')
for index,article in enumerate(articles):
print('第%d条，id:%s' % (index, article['id']))
# 作者
author = article.find_all('div', class_='author clearfix')[0]
# print(author.prettify())
print('作者id:%s,作者名字:%s,作者头像:%s' % (author.a['href'], author.a.img['alt'], author.a.img['src']))
# 内容
content = article.find_all('div', class_='content')[0]
print('内容：%s' % content.find_all('span')[0].string)
# 好笑
stats_vote = article.find_all('span', class_='stats-vote')[0]
print('好笑：%s' % stats_vote.find_all('i')[0].string)
# 评论数
comment = article.find_all('a', class_='qiushi_comments')[0]
print('评论数：%s' % comment.find_all('i')[0].string)
结果
第0条，id:qiushi_tag_119847745
作者id:/users/21210391/,作者名字:笑祼裸,作者头像://pic.qiushibaike.com/system/avtnew/2121/21210391/thumb/20160501150729.jpg?imageView2/1/w/90/h/90
内容：None
好笑：512
评论数：9
第1条，id:qiushi_tag_119858803
作者id:/users/27301848/,作者名字:过夜的开水,作者头像://pic.qiushibaike.com/system/avtnew/2730/27301848/thumb/20171207081219.JPEG?imageView2/1/w/90/h/90
内容：None
好笑：1839
评论数：14
第2条，id:qiushi_tag_119859918
作者id:/users/31595862/,作者名字:好多重复怎么取,作者头像://pic.qiushibaike.com/system/avtnew/3159/31595862/thumb/20160411212843.jpg?imageView2/1/w/90/h/90
内容：
统计一下谁上学时课桌上刻过早?
好笑：260
评论数：12
第3条，id:qiushi_tag_119860636
作者id:/users/12115800/,作者名字:嘿，能不走嘛？,作者头像://pic.qiushibaike.com/system/avtnew/1211/12115800/thumb/20140401180436.jpg?imageView2/1/w/90/h/90
内容：
媳妇给我新买一羽绒服，这羽绒服真是密不透风…不透风到什么程度呢，就是我拉上之后放了个屁，那味直接从脖子口往上窜！
好笑：68
评论数：0
第4条，id:qiushi_tag_116772524
作者id:/users/30915316/,作者名字:滚、水,作者头像://pic.qiushibaike.com/system/avtnew/3091/30915316/thumb/20160106141010.jpg?imageView2/1/w/90/h/90
内容：
听说发腿的都能过
好笑：120
评论数：4
第5条，id:qiushi_tag_119856403
作者id:/users/33491754/,作者名字:我是煮茶,作者头像://pic.qiushibaike.com/system/avtnew/3349/33491754/thumb/2017122100143878.JPEG?imageView2/1/w/90/h/90
内容：None
好笑：3436
评论数：19
第6条，id:qiushi_tag_119858655
作者id:/users/34350130/,作者名字:换君展颜壹笑,作者头像://pic.qiushibaike.com/system/avtnew/3435/34350130/thumb/2017121722440621.JPEG?imageView2/1/w/90/h/90
内容：
前天，三分钟！昨天四分钟。今天，五分钟！也算你努力了，我知道，你这是爱我的表现，这是对自己严苛的要求！希望你能继续努力，好了，看你满头大汗的！我很心疼呢……别跪了，说实在的，每天让你跪核桃我也很心疼，但是有言在先:以后下班不许晚回来超过一分钟！
好笑：1566
评论数：43
第7条，id:qiushi_tag_119860216
作者id:/users/33865328/,作者名字:第55星期,作者头像://pic.qiushibaike.com/system/avtnew/3386/33865328/thumb/2017060807414716.JPEG?imageView2/1/w/90/h/90
内容：
我们这有个奇葩娘们 家里借亲戚家钱一直没钱还 今年他们那拆迁了 有钱了也不还 要存银行放着 因为这老公和她上演几次肉搏大战了 都不行 最后她老公没办法了 天天在家躺着 也不去干活了 说道“反正家里有钱 还干啥呀” 最后实在没办法了 才把钱还了 从此这成为了我们这一段佳话
好笑：287
评论数：6
第8条，id:qiushi_tag_119860191
作者id:/users/12616051/,作者名字:怀念曾经的自己,作者头像://pic.qiushibaike.com/system/avtnew/1261/12616051/thumb/20150106215104.jpg?imageView2/1/w/90/h/90
内容：
高速赶路，路边小卖部买了几瓶水，几瓶红牛，然后中间有瓶这玩意，这是什么鬼�[发呆]
好笑：228
评论数：7
第9条，id:qiushi_tag_116774130
作者id:/users/24967524/,作者名字:？？？？魅惑,作者头像://pic.qiushibaike.com/system/avtnew/2496/24967524/thumb/20150513155310.jpg?imageView2/1/w/90/h/90
内容：
有男朋友，却什么都是自己，吃饭自己，逛街自己，走路自己，睡觉自己，要男朋友做什么，真是受够了我自己。
好笑：130
评论数：13
第10条，id:qiushi_tag_119858606
作者id:/users/33373264/,作者名字:一只小妖精。,作者头像://pic.qiushibaike.com/system/avtnew/3337/33373264/thumb/20171004220626.JPEG?imageView2/1/w/90/h/90
内容：
父平日满口脏话，儿耳濡目染，一日被叫家长，老师道，你儿整日满口污言秽语，不堪入耳。父顿怒，你个兔崽子，老子辛苦养你，你在学校就学成这逼样。儿委屈道，这还不是跟你学的。父顿时悔悟，向老师表态，老子以后要是再讲一句粗话，老子就是婊子养的。老师：“……”
好笑：2284
评论数：9
第11条，id:qiushi_tag_119856629
作者id:/users/16572175/,作者名字:奶爸2014,作者头像://pic.qiushibaike.com/system/avtnew/1657/16572175/thumb/20171203232948.JPEG?imageView2/1/w/90/h/90
内容：None
好笑：5026
评论数：27
第12条，id:qiushi_tag_119859367
作者id:/users/31108083/,作者名字:老子不是信教徒,作者头像://pic.qiushibaike.com/system/avtnew/3110/31108083/thumb/20160203165840.jpg?imageView2/1/w/90/h/90
内容：None
好笑：220
评论数：6
第13条，id:qiushi_tag_119860639
作者id:/users/31065401/,作者名字:这里有一条狗,作者头像://pic.qiushibaike.com/system/avtnew/3106/31065401/thumb/20171215163241.JPEG?imageView2/1/w/90/h/90
内容：
老师都讲成地中海了，还在讲！！！可不可以下课啊啊啊啊啊啊
好笑：61
评论数：2
第14条，id:qiushi_tag_116772866
作者id:/users/30515070/,作者名字:孤落梓,作者头像://pic.qiushibaike.com/system/avtnew/3051/30515070/thumb/20151025131441.jpg?imageView2/1/w/90/h/90
内容：
重庆人同意否？
好笑：177
评论数：8
第15条，id:qiushi_tag_119847571
作者id:/users/33542137/,作者名字:王云（笨笨）,作者头像://pic.qiushibaike.com/system/avtnew/3354/33542137/thumb/20171210125452.JPEG?imageView2/1/w/90/h/90
内容：None
好笑：795
评论数：22
第16条，id:qiushi_tag_119856936
作者id:/users/30683910/,作者名字:一只喵233,作者头像://pic.qiushibaike.com/system/avtnew/3068/30683910/thumb/20171014162309.JPEG?imageView2/1/w/90/h/90
内容：
这两天朵朵肺炎住院，儿科简直是噪音重灾区，我们病房离护士站很近，有小孩要埋针都在那里，有个小孩埋针，哭了一个小时，一会儿喊救命一会儿喊我的妈呀，这会儿针滚了又重新扎，喊着我曰你奶奶的，这孩子火了…
好笑：1745
评论数：27
第17条，id:qiushi_tag_119860461
作者id:/users/16163129/,作者名字:比胸罩贴心滴男人,作者头像://pic.qiushibaike.com/system/avtnew/1616/16163129/thumb/20171130210231.JPEG?imageView2/1/w/90/h/90
内容：
这店名牛.
好笑：111
评论数：0
第18条，id:qiushi_tag_119860417
作者id:/users/8142910/,作者名字:你的狗头在哪里。,作者头像://pic.qiushibaike.com/system/avtnew/814/8142910/thumb/20171130210242.JPEG?imageView2/1/w/90/h/90
内容：
今天我去逛超市，我发现，tt竟然跟口香糖放一起。我就问收银员，:“他们俩放在一起，有什么联系吗？”收银员说 :“他们俩个也没啥关系呀，一个是精装的，一个是相反的。”�[哀怨]�[哀怨]�[哀怨]
好笑：121
评论数：1
第19条，id:qiushi_tag_116771805
作者id:/users/30751334/,作者名字:再见·,作者头像://pic.qiushibaike.com/system/avtnew/3075/30751334/thumb/20151208215125.jpg?imageView2/1/w/90/h/90
内容：
不管走多远，别忘记自己
好笑：103
评论数：16
第20条，id:qiushi_tag_119853901
作者id:/users/33497339/,作者名字:八戒，看师傅签名,作者头像://pic.qiushibaike.com/system/avtnew/3349/33497339/thumb/2017030405565819.JPEG?imageView2/1/w/90/h/90
内容：
同事喝醉酒，断片了。朝我脸上咬了两口，揪了好半天才把脸从她的嘴里揪出来�[大哭]，发现肿起来的脸上还有两大坨黑色的淤血，刚去医院检查，打了破伤风，现在伤心欲绝的我在发糗百……
好笑：2014
评论数：175
第21条，id:qiushi_tag_119855808
作者id:/users/34617700/,作者名字:自由領袖亞洲洲長,作者头像://pic.qiushibaike.com/system/avtnew/3461/34617700/thumb/nopic.jpg?imageView2/1/w/90/h/90
内容：
你不要碰他
好笑：761
评论数：17
第22条，id:qiushi_tag_119860104
作者id:/users/16253187/,作者名字:赶脚的不会爱,作者头像://pic.qiushibaike.com/system/avtnew/1625/16253187/thumb/20171221162149.JPEG?imageView2/1/w/90/h/90
内容：
两岁半的女儿，昨晚回家说傻蛋女儿吃饭要乖，不然就是欠揍。女儿说:"干嘛叫我傻蛋，打死你。"�[捂脸]
好笑：192
评论数：0
第23条，id:qiushi_tag_119859511
作者id:/users/26875982/,作者名字:低调、、、*,作者头像://pic.qiushibaike.com/system/avtnew/2687/26875982/thumb/20150322215412.jpg?imageView2/1/w/90/h/90
内容：None
好笑：214
评论数：3
网友评论