目标地址：https://car.m.autohome.com.cn/
image.png
爬虫的意义在于将目标网页的源码下载到本地后分析该源码并提取想要的数据。所以要实现一个爬虫就只需要两步。第一步是下载源码，第二步分析源码并提取其中的数据。
1、首先看看能不能直接获取源码数据。
采用python3中的requests库去获取目标网页的源码
import requests
response=requests.get("https://car.m.autohome.com.cn/")
response.encoding="utf-8" #设置编码，以防中文乱码
print(response.text)
结果如下：
image.png
可以直接获取目标网页中的数据，这样就方便多了。 个人感觉对于爬虫来说如果能获取到数据，那这个爬虫就成功了一大半了。
2、提取数据
通过分析目标网页中的源码发现，所有车标都位于
<div class="listing">
<div class="item">
车标
</div>
</div >
image.png
所以只需要定位到车标位置便可以从img 标签中提取src中的图片地址和车标文字了。对于提取数据可以使用python3中的pyquery。pyquery可以使用jquery中的语法去标记元素。提取到图片地址和文字后，便可以使用python中的requests库去下载图片了。
python源代码如下：
import requests
from pyquery import PyQuery as pq
import uuid
def downLoadImage(fileName,downLoadUrl):
import requests
r = requests.get(downLoadUrl)
fileName=fileName+".jpg";
print("正在下载 "+fileName+"\n")
with open("c:\\img1\\"+fileName, 'wb') as f:
f.write(r.content)
response=requests.get("https://car.m.autohome.com.cn/")
response.encoding="utf-8"
info=pq(pq(pq(response.text)(".listing"))("div"))(".item")
for i in info:
carBrand=pq(i).text()
imgageCarBrand=pq(i)("img").attr("src")
if(imgageCarBrand==None):
imgageCarBrand =pq(i)("img").attr("data-src")
imgageCarBrand="https:"+imgageCarBrand
downLoadImage(carBrand,imgageCarBrand)
运行结果如下：
image.png
代码很简单，也很容易理解。不过我感觉下载速度有点慢，所以想写一个多线程爬虫去下载车标。python中的多线程我还不是很熟悉，正好学习了java中的多线程。所以决定采用java实现多线程爬虫下载车标。爬虫的原理和分析过程和上述一致。这里只略谈下我是如何实现多线程的。
3、java多线程实现
在上面的python爬虫中我感觉比较耗费时间的就是车标的下载，所以我这里将用单线程去提取车标的地址，然后再使用多线程去下载车标。我将提取到的车标信息放入了一个车标类的静态数组中，以便多线程可以按区间去访问车标地址并下载图片。
车标封装类(1、车标名 2、车标地址)
class CarBrand {
private String carBrand;
private String carBrandImageUrl;
public CarBrand(String carBrand, String carBrandImageUrl) {
this.carBrand = carBrand;
this.carBrandImageUrl = carBrandImageUrl;
}
public String getCarBrand() {
return carBrand;
}
public void setCarBrand(String carBrand) {
this.carBrand = carBrand;
}
public String getCarBrandImageUrl() {
return carBrandImageUrl;
}
public void setCarBrandImageUrl(String carBrandImageUrl) {
this.carBrandImageUrl = carBrandImageUrl;
}
}
从目标站点中得到车标地址
public static CarBrand[] getCarBrandscarBrands() throws Exception {
Document carDocument = Jsoup.connect("https://car.m.autohome.com.cn/").get();
Elements elements = carDocument.select(".listing").select("div").select(".item");
for (Element element : elements) {
String carBrandImageUrl = element.select("img").attr("src").equals("") ?
element.select("img").attr("data-src") :
element.select("img").attr("src");
String carBrandName = element.text();
carBrands[length++] = new CarBrand(carBrandName, "https:" + carBrandImageUrl);
}
return carBrands;
}
下载车标图片
private void downLoadImage(String fileName, String carBrandImageUrl) {
try {
System.out.println(Thread.currentThread().getName() + " 正在下载 " + fileName + " " + carBrandImageUrl);
FileUtils.copyURLToFile(new URL(carBrandImageUrl), new File("c:\\img\\" + fileName + ".jpg"));
} catch (IOException e) {
e.printStackTrace();
}
}
整个代码如下：
package sicau;
import org.apache.commons.io.FileUtils;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.*;
import java.net.URL;
class CarBrand {
private String carBrand;
private String carBrandImageUrl;
public CarBrand(String carBrand, String carBrandImageUrl) {
this.carBrand = carBrand;
this.carBrandImageUrl = carBrandImageUrl;
}
public String getCarBrand() {
return carBrand;
}
public void setCarBrand(String carBrand) {
this.carBrand = carBrand;
}
public String getCarBrandImageUrl() {
return carBrandImageUrl;
}
public void setCarBrandImageUrl(String carBrandImageUrl) {
this.carBrandImageUrl = carBrandImageUrl;
}
}
public class Spider implements Runnable {
private Integer startIndex;
private Integer endIndex;
private static CarBrand[] carBrands = new CarBrand[500];
private static Integer length = 0;
public Spider(Integer startIndex, Integer endIndex) {
this.startIndex = startIndex;
this.endIndex = endIndex;
}
private void downLoadImage(String fileName, String carBrandImageUrl) {
try {
System.out.println(Thread.currentThread().getName() + " 正在下载 " + fileName + " " + carBrandImageUrl);
FileUtils.copyURLToFile(new URL(carBrandImageUrl), new File("c:\\img\\" + fileName + ".jpg"));
} catch (IOException e) {
e.printStackTrace();
}
}
@Override
public void run() {
for (int i = startIndex; i <= endIndex; i++) {
downLoadImage(carBrands[i].getCarBrand(), carBrands[i].getCarBrandImageUrl());
}
}
public static CarBrand[] getCarBrandscarBrands() throws Exception {
Document carDocument = Jsoup.connect("https://car.m.autohome.com.cn/").get();
Elements elements = carDocument.select(".listing").select("div").select(".item");
for (Element element : elements) {
String carBrandImageUrl = element.select("img").attr("src").equals("") ?
element.select("img").attr("data-src") :
element.select("img").attr("src");
String carBrandName = element.text();
carBrands[length++] = new CarBrand(carBrandName, "https:" + carBrandImageUrl);
}
return carBrands;
}
public static void main(String[] args) throws Exception {
getCarBrandscarBrands();
new Thread(new Spider(0, 50)).start();
new Thread(new Spider(51, 100)).start();
new Thread(new Spider(101, 150)).start();
new Thread(new Spider(151, 202)).start();
}
}
运行结果如下：
总结
本爬虫程序并不难实现，只有找对了库。下面总结下本次使用的库。
python3: requests、pyquery
java: maven、jsoup、commons-io
网友评论