Scrapy爬虫:果壳热门和精彩问答信息爬取

果壳问答.jpg

一:前言

继续练习Scrapy框架,这次抓取的果壳问答网站的热门问答和精彩问答相关信息,信息如下:标题,关注量,回答数目,简介等。之后保存到mongodb和json文件中以备后续使用。代码地址:https://github.com/rieuse/ScrapyStudy

二:运行环境

  • IDE:Pycharm 2017
  • Python3.6
  • pymongo 3.4.0
  • scrapy 1.3.3

    三:实例分析

    1.首先进入果壳问答http://www.guokr.com/ask/ ,我这次爬取的是热门问答和精彩问答的全部信息。

果壳

2.进入热门问答和精彩问答,他们的页面结构是一样的。网址是www.guokr.com/ask/hottest 和www.guokr.com/ask/highlight 然后他们都有很多页面,点击下一页后页面地址就会加上后缀?page=数字,后面的数字就是页面的数目,随后我们将使用列表迭代生成我们爬取的页面地址。

1
start_urls = ['http://www.guokr.com/ask/hottest/?page={}'.format(n) for n in range(1, 8)] + ['http://www.guokr.com/ask/highlight/?page={}'.format(m) for m in range(1, 101)]

3.抓取内容:问答的关注,回答,标题,简介。

抓取内容
4.网页结构分析:全部问答内容在class=”ask-list-cp”的ul下的li中,
所以对应的xpath地址如下,问答的单个信息的xpath取值是在全部信息的基础上取的。这里xpath选取比较灵活,可以使用属性,不同的相对位置。很多方式都可以选择到我们需要的数据,一种不成功就换其他的。比如这里的几个div都有自己单独的属性,就可以利用这个去选择。

1
2
3
4
5
6
全部信息:/html/body/div[3]/div[1]/ul[2]/li
关注://div[@class="ask-hot-nums"]/p[1]/span/text()
回答://div[1]/p[2]/span/text()
标题://div[2]/h2/a/text()
简介://div[2]/p/text()
链接://div[2]/h2/a/@href

GIF.gif

四:实战代码

分析好页面结构和数据位置就可以使用scrapy框架来抓取数据了。完整代码地址:github.com/rieuse/ScrapyStudy

1.首先使用命令行工具输入代码创建一个新的Scrapy项目,之后创建一个爬虫。

1
2
3
scrapy startproject Guoke
cd Guoke\Guoke\spiders
scrapy genspider guoke guokr.com

2.打开Guoke文件夹中的items.py,改为以下代码,定义我们爬取的项目。

1
2
3
4
5
6
7
8
9
import scrapy
class GuokeItem(scrapy.Item):
title = scrapy.Field()
Focus = scrapy.Field()
answer = scrapy.Field()
link = scrapy.Field()
content = scrapy.Field()

3.配置middleware.py配合settings中的User_Agent设置可以在下载中随机选择UA有一定的反ban效果,在原有代码基础上加入下面代码。这里的user_agent_list可以加入更多。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
import random
from scrapy.downloadermiddlewares.useragent import UserAgentMiddleware
class RotateUserAgentMiddleware(UserAgentMiddleware):
def __init__(self, user_agent=''):
self.user_agent = user_agent
def process_request(self, request, spider):
ua = random.choice(self.user_agent_list)
if ua:
print(ua)
request.headers.setdefault('User-Agent', ua)
user_agent_list = [
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"
"Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
"Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
"Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
"Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
]

4.明确一下目标,这是抓取的数据保存到mongodb数据库中和本地json文件。所以需要设置一下Pipeline

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
import json
import pymongo
from scrapy.conf import settings
class GuokePipeline(object):
def __init__(self):
self.client = pymongo.MongoClient(host=settings['MONGO_HOST'], port=settings['MONGO_PORT'])
self.db = self.client[settings['MONGO_DB']]
self.post = self.db[settings['MONGO_COLL']]
def process_item(self, item, spider):
postItem = dict(item)
self.post.insert(postItem)
return item
class JsonWriterPipeline(object):
def __init__(self):
self.file = open('guoke.json', 'w', encoding='utf-8')
def process_item(self, item, spider):
line = json.dumps(dict(item), ensure_ascii=False) + "\n"
self.file.write(line)
return item
def spider_closed(self, spider):
self.file.close()

5.然后设置里面也要修改一下,这样才能启动Pipeline相关配置,最后可以保存相关数据。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
BOT_NAME = 'Guoke'
SPIDER_MODULES = ['Guoke.spiders']
NEWSPIDER_MODULE = 'Guoke.spiders'
# 配置mongodb
MONGO_HOST = "127.0.0.1" # 主机IP
MONGO_PORT = 27017 # 端口号
MONGO_DB = "Guoke" # 库名
MONGO_COLL = "Guoke_info" # collection
# pipeline文件的入口,这里进
ITEM_PIPELINES = {
'Guoke.pipelines.JsonWriterPipeline': 300,
'Guoke.pipelines.GuokePipeline': 300,
}
# 设置随机User_Agent
DOWNLOADER_MIDDLEWARES = {
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
'Guoke.middlewares.RotateUserAgentMiddleware': 400,
}
ROBOTSTXT_OBEY = False # 不遵循网站的robots.txt策略
DOWNLOAD_DELAY = 1 # 下载同一个网站页面前等待的时间,可以用来限制爬取速度减轻服务器压力。
COOKIES_ENABLED = False # 关闭cookies

6.最后就是重点了,打开spiders文件夹中的guoke.py,改为以下代码,这个是爬虫主程序。这里面的开始链接就是热门回答和精彩回答结合。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
# -*- coding: utf-8 -*-
import scrapy
from Guoke.items import GuokeItem
class GuokeSpider(scrapy.Spider):
name = "guoke"
allowed_domains = ["guokr.com"]
start_urls = ['http://www.guokr.com/ask/hottest/?page={}'.format(n) for n in range(1, 8)] + [
'http://www.guokr.com/ask/highlight/?page={}'.format(m) for m in range(1, 101)]
def parse(self, response):
item = GuokeItem()
i = 0
for content in response.xpath('/html/body/div[3]/div[1]/ul[2]/li'):
item['title'] = content.xpath('//div[2]/h2/a/text()').extract()[i]
item['Focus'] = content.xpath('//div[@class="ask-hot-nums"]/p[1]/span/text()').extract()[i]
item['answer'] = content.xpath('//div[1]/p[2]/span/text()').extract()[i]
item['link'] = content.xpath('//div[2]/h2/a/@href').extract()[i]
item['content'] = content.xpath('//div[2]/p/text()').extract()[i]
i += 1
yield item

五:总结

先来看看抓取后的效果如何,mongodb我使用的可视化客户端是robomongodb,日常打开代码的工具是notepad++,atom,vscode都还不错推荐一波。代码都放在github中了,有喜欢的朋友可以点击 start follw,https://github.com/rieuse
mongodb:
mongodbg
json文件:

json文件

不断学习,继续加油!