@[TOC](Scrapy作业——爬取大数据教育机构资源)
auth:王伟喆
# 网站源码，放一部分，可以去查看源代码
这个网址
http://86mhz.cn/indax.html
这个网页禁止直接鼠标右键查看源码，不过这不难
我们直接点击浏览器上的：菜单——保存网页——保存为html即可，然后
把保存下来的html改成txt就成功了
```py
# -*- coding: utf-8 -*-
"""
Created on Fri Mar 1 15:22:29 2019
@author: Administrator
"""
#response.css('article.product_pod').xpath('ul.pager')
'''
这是一个大数据内部机构的训练资料网站，我暂时实现了爬取他们所有
的视频和pdf文档链接
'''
body='''
<!DOCTYPE html>
<html>
<head lang="en">
<meta charset="UTF-8">
<title>86马赫仔</title>
<link rel="stylesheet" href="file/css/common.css">
<link rel="stylesheet" href="file/css/style.css">
</head>
<body>
...
```
# 爬虫parse代码
```py
# -*- coding: utf-8 -*-
"""
Created on Fri Mar 1 16:27:54 2019
@author: 王伟喆
"""
'''
写在前面：
我认为做技术先做出来，再求能够优化
如果一开始并没有什么一步到位的思路，不如先分开慢慢做好
当然如果在很明显存在一步到位的方法的时候一定要用最先进的
方法或最有效的方法解决问题！
设计算法也是如此
'''
from scrapy.selector import Selector
from scrapy.http import HtmlResponse
#==============================================================================
# #运行下面这句之前先运行body.py载入html源码！！！！
#==============================================================================
#import body
response=HtmlResponse(url='http://www.example.com/',body=body,encoding='utf8')
selector=Selector(response=response)
selector_list=response.xpath('//div[@id]')
#link在ul>li>div>a 的href属性里面
#dis=selector_list[1] glass-boxing测试用的测试集
#0，1，2，3都可以取
#for i in range(len(selector_list)):
# if i >1:
# print(i)
# print(dis)
# link=dis.xpath('./ul/li/a/@href').extract()
# name=dis.xpath('./ul/li/a/text()').extract()
#
# else:
# link=dis.xpath('./ul/li/div/a/@href').extract()
# name=dis.xpath('./ul/li/p/text()').extract()
# yield{
# 'name':name,
# 'link':link,
# }
# 这部分是为了跟parse函数一块使用的时候方便，下面为了完成这次作业
#简便使用列表的形式来保存所有爬取到的下载链接和文件名字，作为参考
name=[]
link=[]
for i in range(len(selector_list)):
dis=selector_list[i]
if i ==1:
link=link+dis.xpath('./ul/li/a/@href').extract()
name=name+dis.xpath('./ul/li/a/text()').extract()
elif i>1:
link=link+dis.xpath('.//ul/li/a/@href').extract()
name=name+dis.xpath('.//ul/li/a/text()').extract()
else:
link=link+dis.xpath('./ul/li/div/a/@href').extract()
name=name+dis.xpath('./ul/li/p/text()').extract()
#==============================================================================
#可能的问题
#一、为什么要分开处理id=video?
#答：很显然的，在video专区，
#链接的放送格式在./ul/li/div/a/@href 下面
#而名字却放到了 ./ul/li/p/text() 下面
#把这个专区单独处理就好
#二、为什么要使用//和/？
#答：在这个html文档格式当中，当i=1时对应id="hot"，当id是
#ziliao1和ziliao2的时候，所有连接和文档名字都放在一块，而且是在
# link对应在 .//ul/li/a/@href 下
#name对应在 .//ul/li/a/text() 下
#很不幸的，当id=hot的时候， 一些杂乱的链接也被放到了
#/ul下面，所以一次选中所有ul就会把这些乱七八糟的链接选上
#幸运的是，在id≠hot时，所有正常的链接都在ul下面！
#三、一点小技巧
#./ul/li/a/@href
#
#24+36+640+32=732个 得到的link和name变量也应该这么长！
# 每个专区对应的应该有的文件数量
#为了确保不会怕错数量，我先分开爬每个专区，然后打开html文档核对
#大概数量，每个专区数量记录下来确定没错之后
#再一次爬取所有专区，然后再核对数量
#有时候能够代码不出错，但是你不知道
#有没有静态语义错误
#这是常见的python的ERROR类型，仅供参考
#http://www.xuetangx.com/asset-v1:MITx+6_00_1x+sp+type@asset+block/handouts_lectureSlides_Lecture1_4.pdf
#希望能够严谨
#==============================================================================
'''
Syntactic errors 语法错误，能够报错
– Common but easily caught by computer
• Static semantic errors 静态语义错误，报不了错，程序正常，但是结果错的
– Some languages check carefully before running,
others check while interpre%ng the program
– If not caught, behavior of program unpredictable
• Programs don’t have semantic errors, but 其他错误
meaning may not be what was intended
– Crashes (stops running)
– Runs forever
– Produces an answer, but not programmer’s intent
'''
```
# 结果
链接和文件名同维度
网友评论