一:前言
继续练习Scrapy框架,这次抓取的果壳问答网站的热门问答和精彩问答相关信息,信息如下:标题,关注量,回答数目,简介等。之后保存到mongodb和json文件中以备后续使用。代码地址:https://github.com/rieuse/ScrapyStudy
二:运行环境
- IDE:Pycharm 2017
- Python3.6
- pymongo 3.4.0
- scrapy 1.3.3
三:实例分析
1.首先进入果壳问答http://www.guokr.com/ask/ ,我这次爬取的是热门问答和精彩问答的全部信息。
2.进入热门问答和精彩问答,他们的页面结构是一样的。网址是www.guokr.com/ask/hottest 和www.guokr.com/ask/highlight 然后他们都有很多页面,点击下一页后页面地址就会加上后缀?page=数字
,后面的数字就是页面的数目,随后我们将使用列表迭代生成我们爬取的页面地址。
3.抓取内容:问答的关注,回答,标题,简介。
4.网页结构分析:全部问答内容在class=”ask-list-cp”的ul下的li中,
所以对应的xpath地址如下,问答的单个信息的xpath取值是在全部信息的基础上取的。这里xpath选取比较灵活,可以使用属性,不同的相对位置。很多方式都可以选择到我们需要的数据,一种不成功就换其他的。比如这里的几个div都有自己单独的属性,就可以利用这个去选择。
四:实战代码
分析好页面结构和数据位置就可以使用scrapy框架来抓取数据了。完整代码地址:github.com/rieuse/ScrapyStudy
1.首先使用命令行工具输入代码创建一个新的Scrapy项目,之后创建一个爬虫。
2.打开Guoke文件夹中的items.py,改为以下代码,定义我们爬取的项目。
3.配置middleware.py配合settings中的User_Agent设置可以在下载中随机选择UA有一定的反ban效果,在原有代码基础上加入下面代码。这里的user_agent_list可以加入更多。
4.明确一下目标,这是抓取的数据保存到mongodb数据库中和本地json文件。所以需要设置一下Pipeline
5.然后设置里面也要修改一下,这样才能启动Pipeline相关配置,最后可以保存相关数据。
6.最后就是重点了,打开spiders文件夹中的guoke.py,改为以下代码,这个是爬虫主程序。这里面的开始链接就是热门回答和精彩回答结合。
五:总结
先来看看抓取后的效果如何,mongodb我使用的可视化客户端是robomongodb,日常打开代码的工具是notepad++,atom,vscode都还不错推荐一波。代码都放在github中了,有喜欢的朋友可以点击 start follw,https://github.com/rieuse 。
mongodb:
json文件: