Scrapy爬虫：果壳热门和精彩问答信息爬取

发表于 | |

果壳问答.jpg

一：前言

继续练习Scrapy框架，这次抓取的果壳问答网站的热门问答和精彩问答相关信息，信息如下：标题，关注量，回答数目，简介等。之后保存到mongodb和json文件中以备后续使用。代码地址：https://github.com/rieuse/ScrapyStudy

二：运行环境

  • IDE：Pycharm 2017
  • Python3.6
  • pymongo 3.4.0
  • scrapy 1.3.3

    三：实例分析

    1.首先进入果壳问答http://www.guokr.com/ask/ ，我这次爬取的是热门问答和精彩问答的全部信息。

果壳

2.进入热门问答和精彩问答，他们的页面结构是一样的。网址是www.guokr.com/ask/hottest 和www.guokr.com/ask/highlight 然后他们都有很多页面，点击下一页后页面地址就会加上后缀?page=数字，后面的数字就是页面的数目，随后我们将使用列表迭代生成我们爬取的页面地址。

1
start_urls = ['http://www.guokr.com/ask/hottest/?page={}'.format(n) for n in range(1, 8)] + ['http://www.guokr.com/ask/highlight/?page={}'.format(m) for m in range(1, 101)]

3.抓取内容：问答的关注，回答，标题，简介。

抓取内容
4.网页结构分析：全部问答内容在class=”ask-list-cp”的ul下的li中，
所以对应的xpath地址如下，问答的单个信息的xpath取值是在全部信息的基础上取的。这里xpath选取比较灵活，可以使用属性，不同的相对位置。很多方式都可以选择到我们需要的数据，一种不成功就换其他的。比如这里的几个div都有自己单独的属性，就可以利用这个去选择。

1
2
3
4
5
6
全部信息：/html/body/div[3]/div[1]/ul[2]/li
关注：//div[@class="ask-hot-nums"]/p[1]/span/text()
回答：//div[1]/p[2]/span/text()
标题：//div[2]/h2/a/text()
简介：//div[2]/p/text()
链接：//div[2]/h2/a/@href

GIF.gif

四：实战代码

分析好页面结构和数据位置就可以使用scrapy框架来抓取数据了。完整代码地址：github.com/rieuse/ScrapyStudy

1.首先使用命令行工具输入代码创建一个新的Scrapy项目，之后创建一个爬虫。

1
2
3
scrapy startproject Guoke
cd Guoke\Guoke\spiders
scrapy genspider guoke guokr.com

2.打开Guoke文件夹中的items.py，改为以下代码，定义我们爬取的项目。

1
2
3
4
5
6
7
8
9
import scrapy
class GuokeItem(scrapy.Item):
    title = scrapy.Field()
    Focus = scrapy.Field()
    answer = scrapy.Field()
    link = scrapy.Field()
    content = scrapy.Field()

3.配置middleware.py配合settings中的User_Agent设置可以在下载中随机选择UA有一定的反ban效果，在原有代码基础上加入下面代码。这里的user_agent_list可以加入更多。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
import random
from scrapy.downloadermiddlewares.useragent import UserAgentMiddleware
class RotateUserAgentMiddleware(UserAgentMiddleware):
    def __init__(self, user_agent=''):
        self.user_agent = user_agent
    def process_request(self, request, spider):
        ua = random.choice(self.user_agent_list)
        if ua:
            print(ua)
            request.headers.setdefault('User-Agent', ua)
    user_agent_list = [
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"
        "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
        "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
        "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
        "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
    ]

4.明确一下目标，这是抓取的数据保存到mongodb数据库中和本地json文件。所以需要设置一下Pipeline

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
import json
import pymongo
from scrapy.conf import settings
class GuokePipeline(object):
    def __init__(self):
        self.client = pymongo.MongoClient(host=settings['MONGO_HOST'], port=settings['MONGO_PORT'])
        self.db = self.client[settings['MONGO_DB']]
        self.post = self.db[settings['MONGO_COLL']]
    def process_item(self, item, spider):
        postItem = dict(item)
        self.post.insert(postItem)
        return item
class JsonWriterPipeline(object):
    def __init__(self):
        self.file = open('guoke.json', 'w', encoding='utf-8')
    def process_item(self, item, spider):
        line = json.dumps(dict(item), ensure_ascii=False) + "\n"
        self.file.write(line)
        return item
    def spider_closed(self, spider):
        self.file.close()

5.然后设置里面也要修改一下，这样才能启动Pipeline相关配置，最后可以保存相关数据。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
BOT_NAME = 'Guoke'
SPIDER_MODULES = ['Guoke.spiders']
NEWSPIDER_MODULE = 'Guoke.spiders'
# 配置mongodb
MONGO_HOST = "127.0.0.1"  # 主机IP
MONGO_PORT = 27017  # 端口号
MONGO_DB = "Guoke"  # 库名
MONGO_COLL = "Guoke_info"  # collection
# pipeline文件的入口,这里进
ITEM_PIPELINES = {
    'Guoke.pipelines.JsonWriterPipeline': 300,
    'Guoke.pipelines.GuokePipeline': 300,
 }
# 设置随机User_Agent
DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
    'Guoke.middlewares.RotateUserAgentMiddleware': 400,
}
ROBOTSTXT_OBEY = False  # 不遵循网站的robots.txt策略
DOWNLOAD_DELAY = 1  # 下载同一个网站页面前等待的时间，可以用来限制爬取速度减轻服务器压力。
COOKIES_ENABLED = False  # 关闭cookies

6.最后就是重点了，打开spiders文件夹中的guoke.py，改为以下代码，这个是爬虫主程序。这里面的开始链接就是热门回答和精彩回答结合。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
# -*- coding: utf-8 -*-
import scrapy
from Guoke.items import GuokeItem
class GuokeSpider(scrapy.Spider):
    name = "guoke"
    allowed_domains = ["guokr.com"]
    start_urls = ['http://www.guokr.com/ask/hottest/?page={}'.format(n) for n in range(1, 8)] + [
        'http://www.guokr.com/ask/highlight/?page={}'.format(m) for m in range(1, 101)]
    def parse(self, response):
        item = GuokeItem()
        i = 0
        for content in response.xpath('/html/body/div[3]/div[1]/ul[2]/li'):
            item['title'] = content.xpath('//div[2]/h2/a/text()').extract()[i]
            item['Focus'] = content.xpath('//div[@class="ask-hot-nums"]/p[1]/span/text()').extract()[i]
            item['answer'] = content.xpath('//div[1]/p[2]/span/text()').extract()[i]
            item['link'] = content.xpath('//div[2]/h2/a/@href').extract()[i]
            item['content'] = content.xpath('//div[2]/p/text()').extract()[i]
            i += 1
            yield item

五：总结

先来看看抓取后的效果如何，mongodb我使用的可视化客户端是robomongodb，日常打开代码的工具是notepad++，atom，vscode都还不错推荐一波。代码都放在github中了，有喜欢的朋友可以点击 start follw，https://github.com/rieuse 。
mongodb：
mongodbg
json文件：

json文件

不断学习，继续加油！