网站功能需要，要求抓取各大电商产品信息，尤其是产品价格信息

curl+phpQuery抓取静态网页中信息

最开始认为网页都是静态的，所以用curl访问网站，再用phpQuery抓取结果中的标签，便可以获得指定商品的价格信息。但是结果发现无法抓取出价格信息，只是把标签抓取出来而已，而标签内容是空的。

原因：目前几乎所有网站均为动态网站，所谓动态网站就是利用AJAX或javascript动态获得展示内容，再与静态页面结合产生网页内容。这相当于嵌套访问的过程，即在静态页面中，递归的访问另外一个服务器地址，获得相关信息，如产品的价格信息。

如何判断是静态网页还是动态网页

右键审查元素时，可以看到价格数值，但是右键查看网页源代码时，价格信息处却是空的。

chrome网络分析+curl抓取动态网页中信息

会点击chrome浏览器的F12，就能解决90%的爬虫问题，剩下的10%需要懂一点点脑子
两种

• get：从指定的资源请求数据，在url中传递参数，不应该传递敏感信息

//url
/test/demo_form.asp?name1=value1&name2=value2

• post：向指定资源提交数据，在HTTP消息主体中传递参数，更安全

获取京东商品的价格信息

想获得京东商品的价格，以下图为例

jd.PNG

1. 首先定位该页面为动态页面

2. 按F12重新载入页面，在network选项下逐条分析网络请求及其地址

   
   jd1.PNG

3. 可以分析出ajax请求的服务器地址，并且request的方式为GET

   
   jd3.PNG
   

   传递的所有参数已经列出，但我们并不需要那么多参数，从url中分析，仅仅需要商品id便可以获得价格信息

   
   jd5.PNG
   4.所以最终可以组合成向服务器发送的地址以及参数，利用curl便可以获得价格信息(curl默认以get方式进行连接)，代码如下:

<?php
//header("content-Type: text/html; charset=gbk");
// create curl resource 
$ch = curl_init(); 
// set url 
curl_setopt($ch, CURLOPT_URL, "https://p.3.cn/prices/mgets?skuIds=J_25695630025"); 
//return the transfer as a string 
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
// $output contains the output string 
$output = curl_exec($ch); 
//echo output
echo $output;
// close curl resource to free up system resources 
curl_close($ch);  
?>

5.以上代码返回包含价格信息的json字符串

[{"op":"279.00","m":"499.00","tpp":"219.00","id":"J_25695630025","up":"tpp","p":"251.10"}]

获取本来生活商品的价格信息

获取本来生活商品信息步骤与获取京东商品差不多，只不过在分析请求时发现本来生活采用post方式，参数同样在url中可以找到：

benlai.PNG

<?php
    // create curl resource 
   $ch = curl_init(); 
   // set url 
 
   curl_setopt($ch, CURLOPT_URL, "https://www.benlai.com/ajax/GetProductPrice"); 

   //return the transfer as a string 
   curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 

   curl_setopt($ch, CURLOPT_POST, 1);

     $post_data = array(
         "SysNo" => "8080"
        );
   curl_setopt($ch, CURLOPT_POSTFIELDS, $post_data);

   // $output contains the output string 
   $output = curl_exec($ch); 
    echo $output;

   // close curl resource to free up system resources 
   curl_close($ch);  

?>

以上代码返回如下包含价格信息的json串

{"Gifts":[],"SysNo":8080,"Status":1,"xSysNo":0,"CDPrice":-1.0,"currentPrice":23.000000,"AdjustmentOldPrice":29.800000,"XEndTime":"0001-01-01 00:00:00","LimitNum":0,"SysTime":"2018-05-15 15:37:59","CountDownNewType":"未知价格：","CustomerRankName":null,"ProductType":0,"Exp":"","ProductWebSiteSysNo":1,"CurretnWebSiteSysNo":1,"VisType":0,"GiftCardLotSysNo":0,"C1sysno":22,"LotType":-1,"SalePlace":"华北","ReviewCount":6744,"IsCanDelivery":true,"ArrivalDayTime":0,"IsArrivalDay":0,"ArrivalDayMsg":"","IsGiftCard":0,"WarrantyB2G":"","ShowInList":1}

网页编码

网页编码不对会显示乱码等，查看网页编码方式为在chrome的console下输入：

document.charset

PHP中指定编码的方式为

//gbk编码
<?php
header("content-Type: text/html; charset=gbk")
?>

gbk编码对中文支持，且phpQuery只能在gbk编码下获取到标签元素。