地方政府网络回复率排行--stata爬虫的一个小应用

2017-02-10 徐啸 爬虫俱乐部 爬虫俱乐部

文章来源:中产阶层的经世情怀公众号

 已获得授权


本文主要是想看一下地方政府对网民留言的网络回复率问题


数据抓取思路

1、选取人民网地方领导留言平台作为数据抓取对象网站,主要抓取历史留言总量和历史回复量两个数据。

2、观测数据抓取网址的变化是否遵循某种规律。

3、确定网址按顺序变化后,我们查看网址的源代码并使用搜索charset,确定是使用stata13还是使用stata14进行数据抓取。

4、在确定使用stata13以后,我们根据要抓取数据的特征在源代码中确定能够唯一定位数据信息的标识来进行定位。

5、确定定位以后我们在stata13中编写程序对目标数据进行抓取。

6、原始数据抓取后,我们在stata13中对其进行替换、切分和删除等处理。

7、一系列处理后,我们得到最终想要的原始数据。


数据结果呈现

由于32个省市自治区的排列过长,所以我们只呈现前十名的省市。所以我们来看一下网民在人民网地方领导留言平台留言量和地方政府回复率最大的省市前十名为:

从结果来看,河南省、四川省和安徽省是网民留言量和地方政府回复率最高的省份。为了在视觉上更为直观的呈现网民留言的地区分布情况和各省回复率的情况,我们制作了数据热力地图。


数据地图

下图是网民留言量数据地图。从数据地图来看,网民在地方领导留言平台留言最多的省份集中在中部地区,经济发展水平发展程度较高和较低的东部和西部地区网民留言量偏少。这说明网民对政府的留言似乎与经济发展水平没有显著的相关关系,与人口数量可能有一定程度的相关关系。

    下图是地方政府回复率数据地图。从数据地图来看,中西部省份政府对网民留言的回复率明显高于东南地区省份。地方政府回复率与经济发展似乎在一定程度上存在负相关关系,与人口总量在一定程度存在正相关关系。

所 以,根据上述抓取数据和地图简单呈现,我们发现:网民对政府的留言量与本地区人口总量有一定的正相关关系;地方政府对网民留言的回复率与地区经济发展水平 有一定的负相关关系。这可能是因为:人口总量越大,民众对地方政府行为不满意的概率越大;经济发展水平越低,民众对生活的满意程度越低,进而对政府的满意 程度越低;网民留言量越大,地方政府回复网民留言的压力越大。


部分stata程序代码




接下来报告空气质量

全国空气质量如下图

帝都今天不错哦!

以上就是今天给大家分享的内容了,说得好就赏个铜板呗!有钱的捧个钱场,有人的捧个人场~,点赞打赏随您心意,么么哒~

应广大粉丝要求,爬虫俱乐部的推文公众号打赏功能可以开发票啦,累计打赏超过1000元我们即可给您开具发票,发票类别为“咨询费”。用心做事,只为做您更贴心的小爬虫。第一批发票已经寄到各位小主的手中,大家快来给小爬虫打赏呀~

编辑by司海涛



往期推文推荐:

1.合并输出回归结果和其他检验结果——esttab和estadd

2.关于RTF你不知道的命令

3.关于RTF你不知道的命令之番外篇

4.免费事件研究,一片片从邮局寄来

5.免费的股价同步性,一片片从邮局寄来

6.Stata叫你回家听音乐了!

7.一言不合就用stata写邮件(Outlook/Foxmail)

8.玩转stata之调用浏览器

9.I have a Stata, I have a python

10.I have a Stata, I have a Python之二——pdf转word




关于我们

微信公众号“爬虫俱乐部”分享实用的stata命令,欢迎转载、打赏。爬虫俱乐部是由李春涛教授领导下的研究生及本科生组成的大数据分析和数据挖掘团队。

此外,欢迎大家踊跃投稿,介绍一些关于stata的数据处理和分析技巧。

投稿邮箱:xueyuan19920310@163.com
投稿要求:
1)必须原创,禁止抄袭;
2)必须准确,详细,有例子,有截图;
注意事项:
1)所有投稿都会经过本公众号运营团队成员的审核,审核通过才可录用,一经录用,会在该推文里为作者署名,并有赏金分成。
2)邮件请注明投稿,邮件名称为“投稿”+“推文名称”。
3)应广大读者要求,现开通有偿问答服务,如果大家遇到关于stata分析数据的问题,可以在公众号中提出,只需支付少量赏金,我们会在后期的推文里给予解答。

欢迎关注爬虫俱乐部


微信扫一扫
关注该公众号