今日讲课内容：

• 面试经验分享
• 音乐爬虫

面试经验分享

教学内容：
分享面试经验和常见的面试题目。

教学目标：
让学生能对面试有个直观的感受，掌握面试技巧，知道应该准备哪些面试题目。

python爬虫面试1
python爬虫面试2
python爬虫面试3
python爬虫面试4

音乐爬虫

教学内容：
带学生走一个完整的爬虫项目。

总体教学目标：

• 通过项目深入理解python编程和爬虫
• 亲身感受爬虫商业项目
• 能够自己开发一个类似的项目

今日教学目标：

• 理解项目需求
• 理解爬虫架构
• 本地跑起项目来

爬虫总体架构.png

• 到手一个新项目需要先阅读README.md，查看项目如何运行。
• pdb和log对于调试程序很有用
• charles 抓包

pdb基本命令

l list             查看代码
n next          走到下一步
c continue   到下一个断点
p print         打印变量

python3.6 无法使用pip直接安装twisted，需要自己编译安装

1、下载安装包
wget https://pypi.python.org/packages/source/T/Twisted/Twisted-15.2.1.tar.bz2
2、解压
tar -xjvf Twisted-15.2.1.tar.bz2
3、编译安装
cd Twisted-15.2.1
python3 setup.py install

项目代码：https://github.com/xsren/uplooking_spider

课后作业：
1、实现一个函数，可以输入歌手的url，获取歌手的详细信息，比如https://y.qq.com/n/yqq/singer/002J4UUk29y8BY.html
2、将现在的直接存储数据到mongodb改为通过http接口发送给flask server，通过flask server存储到mongodb