「爬虫」15爬虫之scrapy爬虫项目实战（无登录）

1.项目需求：爬取天善智能网站课程信息，结果写入tscourse.txt文件

2.项目详细步骤：

（1）创建爬虫项目和文件

scrapy startproject ts

scrapy genspider -t basic lesson hellobi.com

（2）在pycharm中打开ts项目，编写items.py文件

ts/item.py

（3）编写lesson.py文件

ts/lesson.py的头文件 ts/spiders/lesson.py

（4）编写pipelines.py文件

ts/pipelines.py

（5）编写setting.py文件（去掉注释，开启爬虫）

ts/setting.py

（6）在cmd中运行爬虫项目

cmd运行爬虫项目命令行

（7）查看运行结果

cmd中的运行结果 爬取结果存储到txt文件中的结果