Python网抓学习源代码

之前一直使用VB进行网抓，花了一两个小时看了一段Python的教学视频，初步写了一段Python代码，不得不说，代码果然简洁，Python开发效率很高，不过缺点是没有VS那样高效的IDE，无法实时调试查看变量数据，调试效率不高，不知道有没有更好的开发工具。

import requests

from bs4 import BeautifulSoup

import pandas

url='http://url.com/page={})'

news_total=[]

for i in range(1,360):

    newsurl=url.format(i)

    #print(newsurl)

    res=requests.get(newsurl)

    res.encoding="utf-8"

    soup=BeautifulSoup(res.text,'html.parser')

    for j in range(0,50):

        ids=soup.select('.tdpre')[j]['onclick'].split('\'')[1]

        #print (ids)

        news_total.append(ids)

#print(news_total)

df=pandas.DataFrame(news_total)

df.to_csv('D:\id.csv')