Python爬虫日记9:Python爬虫日记九:豌豆荚设计奖多进程,异步IO爬取速度对比

一:前言

使用requests+BeautifulSoup或者xpath等网页解析工具就可以爬取大部分的网页 ,但是有时爬取的量很大时爬取的速度就让人头疼,今天我就使用三种方式来爬取豌豆荚的设计奖APP相关信息并保存到mongodb,从而对比速度让我们更清楚的认识这些东西用处。

  • 正常requests爬取
  • requests + pool多进程爬取
  • asynico + aiohttp异步IO爬取

二:运行环境

  • IDE:Pycharm 2017
  • Python 3.6
  • aiohttp 2.1.0
  • asyncio 3.4.3
  • pymongo 3.4.0

三:实例分析

1.豌豆荚的设计奖首页是http://www.wandoujia.com/award 点击下一页之后就会发现网页地址变成了http://www.wandoujia.com/award?page=x x就是当前的页数。

2.然后来看看本次抓取的信息分布,我抓取的是每个设计奖的背景图片,APP名称,图标,获奖说明。进入浏览器开发者模式后即可查找信息位置。(使用Ctrl+Shift+C选择目标快速到达代码位置,同时这个夸克浏览器也挺不错的,简洁流畅推荐大家安装试试。)
夸克浏览器
3.信息位置都找到了就可以使用BeautifulSoup来解析网页选择到这些数据,然后保存到mongodb。

四:实战代码

完整代码放在github中,github.com/rieuse/learnPython

共用部分是url的构造,一些headers,代理部分。前几次爬虫可以不用headers和代理,但是测试几次后爬取的网站就可能给你封ip或者限速。我这里就需要这些反ban方法,因为我测试几次就呗网站限制了。
这里为了反反爬虫可以加入headers,User-Agent也是随机选择。再配合代理ip就很棒了。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
# 共用部分
clients = pymongo.MongoClient('localhost')
db = clients["wandoujia"]
col = db["info"]
urls = ['http://www.wandoujia.com/award?page={}'.format(num) for num in range(1, 46)]
UA_LIST = [
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
"Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
"Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
"Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
]
headers = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'Accept-Encoding': 'gzip, deflate, sdch',
'Accept-Language': 'zh-CN,zh;q=0.8,en;q=0.6',
'Connection': 'keep-alive',
'Host': 'www.wandoujia.com',
'User-Agent': random.choice(UA_LIST)
}
proxies = {
'http': 'http://123.206.6.17:3128',
'https': 'http://123.206.6.17:3128'
}

方式一:正常requests爬取
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
def method_1():
start = time.time()
for url in urls:
html = requests.get(url, headers=headers, proxies=proxies).text
soup = BeautifulSoup(html, 'lxml')
title = soup.find_all(class_='title')
app_title = soup.find_all(class_='app-title')
item_cover = soup.find_all(class_='item-cover')
icon_cover = soup.select('div.list-wrap > ul > li > div.icon > img')
for title_i, app_title_i, item_cover_i, icon_cover_i in zip(title, app_title, item_cover, icon_cover):
content = {
'title': title_i.get_text(),
'app_title': app_title_i.get_text(),
'item_cover': item_cover_i['data-original'],
'icon_cover': icon_cover_i['data-original']
}
col.insert(content)
print('成功插入一组数据' + str(content))
print('一共用时:' + str(time.time() - start))
if __name__ == '__main__':
method_1()

执行这部分的代码后运行时间

方法一时间
之后mongodb的数据库中就有了这些数据。

mongodb数据

方式二:使用Requests + Pool进程池爬取
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
def method_2(url):
html = requests.get(url, headers=headers, proxies=proxies).text
soup = BeautifulSoup(html, 'lxml')
title = soup.find_all(class_='title')
app_title = soup.find_all(class_='app-title')
item_cover = soup.find_all(class_='item-cover')
icon_cover = soup.select('div.list-wrap > ul > li > div.icon > img')
for title_i, app_title_i, item_cover_i, icon_cover_i in zip(title, app_title, item_cover, icon_cover):
content = {
'title': title_i.get_text(),
'app_title': app_title_i.get_text(),
'item_cover': item_cover_i['data-original'],
'icon_cover': icon_cover_i['data-original']
}
# time.sleep(1)
col.insert(content)
print('成功插入一组数据' + str(content))
if __name__ == '__main__':
start = time.time()
pool = multiprocessing.Pool(4) # 使用4个进程
pool.map(method_2, urls) # map函数就是把后面urls列表中的url分别传递给method_2()函数
pool.close()
pool.join()
print('一共用时:' + str(time.time() - start))

执行这部分的代码后运行时间,确实比方法一快了一些

方法二时间

方式三:使用Asyncio + Aiohttp异步IO爬取

使用这个方法需要对每个函数前面加async,表示成一个异步函数,调用asyncio.get_event_loop创建线程,run_until_complete方法负责安排执行 tasks中的任务。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
def method_3():
async def get_url(url):
async with aiohttp.ClientSession() as session:
async with session.get(url) as html:
response = await html.text(encoding="utf-8")
return response
async def parser(url):
html = await get_url(url)
soup = BeautifulSoup(html, 'lxml')
title = soup.find_all(class_='title')
app_title = soup.find_all(class_='app-title')
item_cover = soup.find_all(class_='item-cover')
icon_cover = soup.select('div.list-wrap > ul > li > div.icon > img')
for title_i, app_title_i, item_cover_i, icon_cover_i in zip(title, app_title, item_cover, icon_cover):
content = {
'title': title_i.get_text(),
'app_title': app_title_i.get_text(),
'item_cover': item_cover_i['data-original'],
'icon_cover': icon_cover_i['data-original']
}
col.insert(content)
print('成功插入一组数据' + str(content))
start = time.time()
loop = asyncio.get_event_loop()
tasks = [parser(url) for url in urls]
loop.run_until_complete(asyncio.gather(*tasks))
print(time.time() - start)
if __name__ == '__main__':
method_3()

执行这部分的代码后运行时间,又快了很多。
方法三时间


五:总结

使用三种方法爬取数据保存到mongodb,从这里可以看出使用Asyncio + Aiohttp的方法最快,比普通只用requests的方法快很多,如果处理更多的任务的时候使用异步IO是非常有效率的。

贴出我的github地址,我的爬虫代码和学习的基础部分都放进去了,有喜欢的朋友可以点击 start follw一起学习交流吧!github.com/rieuse/DouyuTV

加油!