今天是3.29号。
今天下午去面试搜芽公司的运营助理，问的问题没有很深入，提到说如果为达到某个目标，若一个路径走不通时要尽快调整方向，这是运营的基本能力。可能因为是初创公司，要求不是很高然后其它问了一些简单的问题就草草结束。说实话，自己虚荣心很强，不止一次想的是，等毕业时要么加入一个名气不错的公司，要么小公司但薪水不错，名和利总要有一头能够摸着吧。不然宁肯选择回老家，真的。
后天上午就是开题报告，应该也是很随意的那种，老师们也主要是为了研三的预答辩。刚刚老师发来一个邮件让投一篇会议论文，邮件最后加了说不要一次一次放纵自己，简直了，不就是因为去年让自己投会议论文自己没完成吗。算了，如果四月份还没找到实习，就一边学习python，一边把会议论文先搞完吧。
这周学习python和mongoDB的结合应用，在过程中遇到一些问题：
(1)首先在保存房源链接时一直报错，调整了函数def get_url(start_url)才解决。
(2)数据在保存到字典中时，由于用不着zip()函数，所以用soup.select()时选取CSS路径都要加[0]。
(3)将数据保存到mongo中后发现租房的价格是以字符串型保存的，然后对mongo中的字符串型价格进行了转化。
最后贴上代码吧。一切顺利。
# -*- coding: utf-8 -*-
#目的是爬取前10页房源信息并写进mongo数据库中
a=[]
start_url=['http://bj.xiaozhu.com/search-duanzufang-p{}-0/'.format(str(i)) for i in range(1,11)]
from bs4 import BeautifulSoup
import requests
import pymongo
client=pymongo.MongoClient('localhost',27017)#打开数据库端
bnb=client['bnb']#这里建立一个库,怎样直接在已有库下面建表还未解决
house_info=bnb['house_info']
#首先爬下10页房源的连接，并存储起来放在列表中
def get_url(start_url):
for url in start_url:
web_data=requests.get(url)
soup=BeautifulSoup(web_data.text,'lxml')
all_url=soup.select('#page_list > ul > li > a')#把一个页面上的包含链接的所有内容选出来
for item in all_url:
b=item.get('href')
a.append(b)
return a
# #利用详情页爬取具体信息的标题、地址、日租金价格、房源图片链接、房东姓名、性别、房东图片连接
# #由于页面中抓取的信息是单个的，所以会用到soup.select('')[0]
def get_info(a):
for url in a:
start1_data=requests.get(url)
soup=BeautifulSoup(start1_data.text,'lxml')
title=soup.select('body > div.wrap.clearfix.con_bg > div.con_l > div.pho_info > h4 > em')[0]
address=soup.select('body > div.wrap.clearfix.con_bg > div.con_l > div.pho_info > p > span.pr5')[0]
price=soup.select('#pricePart > div.day_l > span')[0]
img_1=soup.select('#curBigImage')[0]
name=soup.select('#floatRightBox > div.js_box.clearfix > div.w_240 > h6 > a')[0]
sex=soup.select('#floatRightBox > div.js_box.clearfix > div.member_pic > div')[0].get('class')[0]
img_2=soup.select('#floatRightBox > div.js_box.clearfix > div.member_pic > a > img')[0]
#特别要注意：由于用soup.select()选取路径下的信息都是列表的形式，而用get_text或者get('src')时都是只能针对单一对象不能是列表
# 所以在教程中看到用了zip()函数，如果像本文中的，一个页面只有唯一的一个信息，则用不着zip()函数，那么在构造字典之前在
#使用soup.select()时后面都要加上[0]
data={'title':title.get_text(),
'addre':address.get_text(),
'price':price.get_text(),
'img_1':img_1.get('src'),
'name':name.get_text(),
'sex':gender(sex),
'img_2':img_2.get('src')
}
house_info.insert_one(data)#insert_one插入时一次只能插入一条
print('the work has finished! ')
#对性别进行判断
def gender(class_name):
if class_name=='member_ico':
return 'male'
else: return 'famale'
get_info(get_url(start_url))
#插入数据之后，进行下一步操作前一定要把之前的代码注释掉，以免造成重复插入数据
for x in bnb.house_info.find({'price':{'$type':2}}):
x['price']=int(x['price'])
bnb.house_info.save(x)
if x['price']>=300:
print(x)
网友评论