简书
第一节已经介绍了简书网站的结构，爬取文章前对网页源码进行必要的分析，以及整个项目的步骤，这一节开始介绍如何爬取简书分类目录下的文章，如有不明白的，请务必看完前一节的介绍：
-
简书 API 测试地址 : http://222.24.63.118:8080/
-
github 项目地址：https://github.com/strugglingyouth/jianshu/
爬取“新上榜”目录下的文章
说明： 所有代码都在 python2.7 环境下运行。
首先创建一个 Django 项目：
# django-admin startproject jianshu_api
# cd jianshu_api
# django-admin startapp jianshu
在 jianshu_api/settings.py 下配置数据库：
DATABASES = {
'default': {
'ENGINE': 'django.db.backends.mysql',
'NAME': 'jianshu',
'HOST': '127.0.0.1',
'USER': 'root',
'PASSWORD': 'tianfeiyu',
'PORT': 3306
}
}
开始写 models：
此 API 的设计是模仿知乎日报 API 的形式，models 分两层，第一层是概要信息，第二层是详细内容，以概要信息作为外键。
class ArticleList(models.Model):
"""
文章概要信息
"""
article_id = models.CharField('ID', primary_key=True, max_length=100)
article_title = models.CharField('文章标题', max_length=100)
article_url = models.URLField('文章URL')
article_user = models.CharField('作者', max_length=100)
article_user_url = models.URLField('作者URL')
created = models.DateTimeField(auto_now_add=True)
class Meta:
ordering = ['-created', ]
def __unicode__(self):
return self.article_title
def __str__(self):
return self.article_title
class ArticleDetail(models.Model):
"""
文章详细信息
"""
image = models.URLField('图片URL' )
title = models.CharField('文章标题', max_length=100)
body = models.TextField('文章内容', null=True)
time = models.CharField('发表时间' , max_length=100, null=True)
views_count = models.CharField('阅读数', max_length=100)
public_comments_count = models.CharField('评论数', max_length=100)
likes_count = models.CharField('喜欢', max_length=100)
total_rewards_count = models.CharField('打赏', max_length=100)
created = models.DateTimeField('创建时间', auto_now_add=True)
article_abstract = models.ForeignKey('ArticleList', verbose_name='文章摘要')
class Meta:
ordering = ['-created', ]
def __unicode__(self):
return self.title
def __str__(self):
return self.title
然后进入 MySQL 中，设置使用的编码：
root@127.0.0.1 : (none) 09:41:33> set character_set_client=utf8 ;
root@127.0.0.1 : (none) 09:41:33> set character_set_connection=utf8 ;
root@127.0.0.1 : (none) 09:41:33> set character_set_database=utf8 ;
root@127.0.0.1 : (none) 09:41:33> set character_set_results=utf8 ;
root@127.0.0.1 : (none) 09:41:33> set character_set_server=utf8 ;
root@127.0.0.1 : (none) 09:41:33> set character_set_system=utf8 ;
最后验证下是否正确：
设定 mysql 字符集
开始创建数据库：
# python manage.py makemigrations
# python manage.py migrate
爬取“新上榜”的文章：
初始化代码：
if __name__ == '__main__':
# 从 jianshu_api/settings.py 文件中导入数据库的信息
host = DATABASES['default']['HOST']
user = DATABASES['default']['USER']
passwd = DATABASES['default']['PASSWORD']
db = DATABASES['default']['NAME']
port = DATABASES['default']['PORT']
# 保存文章所用到的表
article_list_table = 'jianshu_articlelist'
article_detail_table = 'jianshu_articledetail'
# 使用 colorama 模块进行颜色控制，通过使用 autoreset 参数可以让变色效果只对当前输出起作用，输出完成后颜色恢复默认设置
init(autoreset=True)
domain_name = 'http://www.jianshu.com'
# “新上榜”目录的 URL
base_url = 'http://www.jianshu.com/recommendations/notes'
# 初始化一个 mysql 实例
mysql = Mysql(host, user, passwd, db, port)
# 解析 dom，获取文章的详细信息
get_details(mysql, base_url, domain_name, article_list_table, article_detail_table)
爬取文章详细信息代码：
def get_details(mysql, base_url, domain_name, article_list_table, article_detail_table):
"""
爬取文章并获取详细信息
"""
# OrderedDict() 是一个有序的字典，将文章的信息保存在 dict 中
article_list = OrderedDict()
article_detail = OrderedDict()
html = requests.get(base_url).content
# html 是网页的源码，soup 是获得一个文档的对象
soup = BeautifulSoup(html, 'html.parser', from_encoding='utf-8')
tags = soup.find_all('li', class_="have-img")
print Fore.YELLOW + "---------------all-------------------:",len(tags)
ct = 1
# 获取文章的信息
for tag in tags:
image = tag.img['src'].split('?')[0]
article_user = tag.p.a.get_text()
# 将 URL 补全
article_user_url = tag.p.a['href']
if article_user_url.startswith('/users/'):
article_user_url = domain_name + article_user_url
created = tag.p.span['data-shared-at']
article_title = tag.h4.get_text(strip=True)
article_title = article_title.replace('"', '\\"')
article_url = tag.h4.a['href']
article_id = article_url.split('/')[2]
if article_url.startswith('/p/'):
article_url = domain_name + article_url
tag_a = tag.div.div.find_all('a')
views = tag_a[0].get_text(strip=True)
# 提取其中的数字
views = filter(str.isdigit, str(views))
comments = tag_a[1].get_text(strip=True)
comments = filter(str.isdigit, str(comments))
tag_span = tag.div.div.find_all('span')
likes = tag_span[0].get_text(strip=True)
likes = filter(str.isdigit, str(likes))
# 阅读，评论，喜欢一定存在，打赏不一定有
try:
tip = tag_span[1].get_text()
tip = filter(str.isdigit, str(tip))
except Exception as e:
tip = 0
获取文章的内容：
def get_body(article_url):
"""
获取文章内容
"""
# 解析文章对应的 URL
html = requests.get(article_url).content
soup = BeautifulSoup(html, 'html.parser', from_encoding='utf-8')
tags = soup('div', class_="show-content")
body = str(tags[0])
# 将 body 中 " 转换为 \", ' 转换为 \'
body = body.replace('"','\\"')
body = body.replace("'","\\'")
return body
将数据保存在 mysql 中：
def insert_data(self, table, my_dict):
try:
# 从 dict 中分别取出 key，value
cols = ','.join(my_dict.keys())
values = '","'.join(my_dict.values())
values = '"' + values + '"'
try:
sql = "insert into %s (%s) values(%s)" %(table, cols, values)
result = self.cur.execute(sql)
self.db.commit()
if result:
return 1
else:
return 0
except MySQLdb.Error as e:
self.db.rollback()
if "key 'PRIMARY'" in e.args[1]:
print Fore.RED + self.get_current_time(), "数据已存在，未插入数据"
else:
print Fore.RED + self.get_current_time(), "插入数据失败，原因 %d: %s" % (e.args[0], e.args[1])
except MySQLdb.Error as e:
print Fore.RED + self.get_current_time(), "数据库错误，原因%d: %s" % (e.args[0], e.args[1])
代码运行结果：
运行结果
上一节已经提到过，“热门”目录和“新上榜”目录下代码的结构相同，所以以上代码稍作修改完全可以爬取“热门”下的文章，但我将“热门”下爬取到的文章放在了一张表里，大家可以自行尝试。
完整代码请查看项目中的 popular_articles_jianshu.py 文件!
下一节将介绍 API 的生成。
网友评论