记录一下自己学习爬虫的经历 1

先说一下自己学习的基本目的 . 

1. 复习 python

2. 理解 爬虫架构

---------- 开始 -------------

当前自己机器的环境 

  a.  mac osx , python3.5, pycharm4.5 .

  b. 还会用到各种包，都尽量的使用最新的.

------------第一个小程序段----------

#!/usr/bin/env python

# coding: utf-8

# 学习一下 BeautifulSoup v4

frombs4importBeautifulSoup

# from imp import

importurllib.request

importsys

importimportlib

importtime,datetime

importlib.reload(sys)

__author__ ='bai'

# 抓取地址 读入页面源文件

url1 ="http://z.cn/"

open_beg_time = time.time()

data = urllib.request.urlopen(url1).read()

open_end_time = time.time()

soup = BeautifulSoup(data,"lxml")

parse_end_time = time.time()

print(soup)

print("get page time",open_end_time - open_beg_time)

print("formate ",parse_end_time - open_end_time)