今天在浏览简书的时候，发现几个非常帮的摄影网站，上面的图片美轮美奂,不禁生起把他们全部挡到本地来的想法。并且之前有做过有关抓取的项目，故整理了下将心得体会总结出来供大家参考。
一 简介抓取图片的流程
我们常用到抓取图片的方式有很多，如：使用curl方法，fiel_get_content方法,readfile方法,fopen方法。。。。。。可谓是多种多样！但是他们的原理大抵相似：
1 获取图片所在页面的url地址；
2 获取到目标页面的内容后，将<img>标签的相关信息用正则匹配出来；
3 得到img的src属性的信息后，获取图片的内容；
4 在本地创建文件，将第3步获取到的内容写入文件；
经过以上4步，本地就保存好了你中意的图片了。下面我们来更详细的看下（从代码角度），在这里我只试用2种方法（curl和file_get_content）。
二 使用file_get_content方法抓取图片(get方式)
1 首先定义2个函数(getResources() 和 downloadImg())分别是获取页面内容的和下载图片到本地的函数!代码如下:
getResources($url)
downloadImg($imgPath)
2 主程序如下:
//定义本地目录(存放图片)
define("IMG_PATH","/home/www/test/img/");
//获取页面内容
$url = "访问目标的路径";
//该函数会将获取到的内容放在一个字符串中
$str = getResources($url);
//匹配出img标签中的 src属性的信息;这里换成data-original属性,是因为该页面使用了延时加载机制
preg_match_all("|<img[^>]+data-original=['\" ]?([^ '\"?]+)['\" >]|U",$str,$array,PREG_SET_ORDER);
//因上一步中 我们选择了PREG_SET_ORDER排序,故$value[1]中便为我们所要下载图片的路径
$k = 0;
foreach ($array as $key => $value)
{
$res = downloadImg($value[1]);
if($res) $k++;
}
echo "成功抓取的图片张数为: $k";
程序结束,这里需要注意的有以下几点:
1) preg_match_all()函数的第四个参数是可选的,分别为:PREG_PATTERN_ORDER(默认),
PREG_SET_ORDER,PREG_OFFSET_CAPTURE，这三种方式在我看来就是3种不同的排序，它只会影响你匹配结果的表现形式。第四个参数不传的话会默认为PREG_PATTERN_ORDER，而在本例则使用了PREG_SET_ORDER排序。这一方面，php手册上有很详细的介绍，建议大家在这一步时能查看下手册以便加深印象。
2) 在正则表达式中我们匹配的是<img>标签中的data-original属性里的值，来说下这个正则，首先匹配到的是<img>标签信息,之后用子匹配方式匹配出data-original属性里的值。值得注意的是，现在有很多摄影类（图片类）网站为了效果的更好展示大部分会使用延时加载设置，如果我们还按之前的方式去匹配src属性的话，只能得到<img>标签的默认显示图片,很明显这不是我们需要的,所以匹配data-original属性(存放真正的图片路径);
3) 如果请求的页面过大，程序运行需要时间过长的话，请在程序开头加上这段代码：
set_time_limit(120); //修改程序执行时间为120s(自己看着来)
二 使用curl方法抓取图片(post方式)
在上面我们用的是file_get_content()函数的get方式抓取,这里我们换成curl的post方式。(每种方法都有两种方式)
1 定义使用curl方法抓取图片的函数
curlResources($url)
2 主程序中将 $str = getResources($url) 改为 $str = curlResources($url) 即可。
三 两种方法的执行效率对比
1 file_get_contents 每次请求都会重新做DNS查询，并不对DNS信息进行缓存。但是CURL会自动对DNS信息进行缓存。对同一域名下的网页或者图片的请求只需要一次DNS查询。这大大减少了DNS查询的次数。所以CURL的性能比file_get_contents 好很多。
2 file_get_contents在请求HTTP时，使用的是http_fopen_wrapper，不会keeplive(保持链接状态)。而curl却可以。这样在多次请求多个链接时，curl效率会好一些。
3 相对file_get_content而言curl方法请求更多样化,如可以请求FTP协议,SSL协议...等一些资源。
总结
1 php手册的重要性，有时候你查看再多的资料不如看一眼手册，对于一些函数上面有很详细的介绍，在我动手前，我根本就没记住preg_match_all()会有第四个参数。
2 严谨对待代码结构，马虎不得。使其结构合理化，清晰明了，复用率高。
3 实践出真知，多动手才能记得牢。看再多遍不如敲上一遍来得亲切（请允许我使用这个词语），这样才能牢记这个流程的实现原理。
4 拓展一下，抓取该页面包括其子页面内的图片与这原理是一样的，无非是找出<a>标签的href里的url来做遍历，再去分别抓去图片...这里就不赘述了。
以上就是我在这次抓取图片过程的心得体会，希望对大家能有所帮助，其中有什么不正确的地方，欢迎大家来批评指正！
网友评论