Python数据分析:斗鱼弹幕内容词云分析

一:前言

上次把斗鱼弹幕数据抓取搞定后,我就拿来试试用词云分析看看效果,简单学习一下。这是弹幕抓拍去分析的对象是斗鱼主播大司马,因为他直播比较搞笑,虽然我不玩游戏,但是之前看他还是有意思。这次我使用的数据是弹幕爬取后保存到text中的,实现代码放在这里:github.com/rieuse/DouyuTV,有了这个数据后续就可以使用词云分析了。
大司马老师上课

二:遇到的坑

第一次用需要安装几个插件:jieba,scipy,wordcloud,但是这个wordcloud在win下面容易出错。解决方法是使用http://www.lfd.uci.edu/~gohlke/pythonlibs/ 网站下载对应的模块,然后复制到你的电脑目录中,之后使用命令行工具进入该文件夹中,然后执行一下安装操作,我是python3.6 64位电脑:pip install wordcloud‑1.3.1‑cp36‑cp36m‑win_amd64.whl其他版本请下载安装对应模块。

三:简单原理

  • jieba这个模块是用来分词的,把一段文字分解成一个一个的词汇,就像我的锤子手机的大爆炸一样分词。jieba.cut()分词函数提供了三个模式:全模式,精确模式,搜索引擎模式。全模式:速度块,扫描成词的词语,但时会出现歧义的词语
    精确模式:尽可能最准确非切分词语,比较适合作文本分析
    搜索引擎模式:就是精确模式的基础上,对长词再次切分,提高召回率
    这里默认的话就是精确模式。第一次可以不用考虑模式问题,先上来弄出个图给自己美滋滋一下再说。
  • 之后对分词后的数据使用wordcloud模块,进行对词汇分析了
  • 最后使用matplotlib.pyplot,绘图展现出来。

四:代码展现

  • 1.Python的代码量很少,所以学习还是比其他语言来的舒服。这里的就简单这些代码就实现了词云的目的。我这里导入的文档是弹幕爬取后的,代码在我gituhub中,就是把之前弹幕数据保存到mongodb改成只把弹幕内容保存到text文档中。
    Paste_Image.png
    1
    2
    3
    4
    5
    6
    import jieba,jieba.analyse
    from wordcloud import WordCloud, ImageColorGenerator
    import matplotlib.pyplot as plt
    import os
    import PIL.Image as Image
    import numpy as np
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
with open('大司马即将上课前后.txt','r',encoding='utf-8') as f:
text = f.read()
f.close()
cut_text = " ".join(jieba.cut(text)) #使用空格连接 进行中文分词
cut_an= jieba.analyse.extract_tags(cut_text,30) # 关键词提取,返回权重最高的前30,数字可以不填默认20
d = os.path.dirname(__file__) # 获取当前文件路径
color_mask = np.array(Image.open(os.path.join(d,'img.jpg'))) # 设置图片
cloud = WordCloud(
background_color='#F0F8FF', # 参数为设置背景颜色,默认颜色则为黑色
font_path="FZLTKHK--GBK1-0.ttf", # 使用指定字体可以显示中文,或者修改wordcloud.py文件字体设置并且放入相应字体文件
max_words=1000, # 词云显示的最大词数
font_step=10, # 步调太大,显示的词语就少了
mask=color_mask, #设置背景图片
random_state= 15, # 设置有多少种随机生成状态,即有多少种配色方案
min_font_size=15, #字体最小值
max_font_size=232, #字体最大值
)
cloud.generate(cut_text) #对分词后的文本生成词云
image_colors = ImageColorGenerator(color_mask) # 从背景图片生成颜色值
plt.show(cloud.recolor(color_func=image_colors)) # 绘制时用背景图片做为颜色的图片
plt.imshow(cloud) # 以图片的形式显示词云
plt.axis('off') # 关闭坐标轴
plt.show() # 展示图片
cloud.to_file(os.path.join(d, 'pic.jpg')) # 图片大小将会按照 mask 保存
  • 2.执行之后就可以显示出来了:

直播开始前弹幕

之后我又对斗鱼主播芜湖大司马直播后一段时间的弹幕分析了一下,结果如下:

直播开始后弹幕

  • 3.前面是使用自己的词云分析,之后我把我的两个时间段的弹幕内容放到bluemc,这里来分析是这样的:

Paste_Image.png

Paste_Image.png

五:总结

通过两个时间段的词云分析,可以看的出来观众说的最多的,关注点是哪些。这次我做的词云也很简单,后续在研究研究让它更美观一些,精准一些。
贴出我的github地址,我的爬虫代码和学习的基础部分都放进去了,有喜欢的朋友可以点击 start follw一起学习交流吧!github.com/rieuse/DouyuTV