大数据媒体案例02：“驾校投诉”文本数据挖掘

有关数据分析在媒体行业中的应用，我前面已经给大家介绍了《陕西妈妈大数据》案例，是基于调查问卷数据分析得出相应总结性报告的常规模式。大数据概念以及技术实施的普及，获取及处理数据的技术越来越丰富，而且往往都是突破传统方法，越来越多，越来越科学的媒体行业大数据案例正在涌现。

华商报综合2015年前7个半月新闻热线收到的大量驾校投诉，经过对这些非常规数据进行数据清洗及深度的挖掘，从看似混乱的新闻素材中提炼出有价值的信息，用华商巷议报告的形式向社会发布，这样的数据项目值得媒体机构和媒体人关注和借鉴。

数据来源

2015年1月1日-8月17日，以及2013年、2014年，陕西省范围内，华商报24小时新闻热线029-88880000收集到的有关驾校投诉信息。

数据处理方法

以下文字为数据小兵博客补充，原巷议报告未提及。

通过新闻热线打入的素材，一般为语音音频，首先需要将音频转化为文本信息，再对文本信息进行归类，提取关键词，按投诉对象分组，按投诉内容分组，组内汇总等。这些是比较传统的办法，对于案例中提到的457条信息来说，处理起来并不费力。

如果数据量庞大，成千上万，百万条、甚至更多，此时手工处理显然不够科学和快捷。此时需要用到分词技术，词频统计，关联等方法。

数据分析报告体现的分析方法

1、对比分析

2015年驾校投诉量暴增，投诉的有效数据，2013年268条，2014年474条，2015年截至8月17日457条。2015年激增的原因，报告认为与2014年10月驾考系统升级、考试难度增加、考试预约困难等原因导致通过率低，由此引发的问题延伸至2015年有关。

2、分组归类、排序、二八定律

将457条信息按照投诉对象分组归类，并组内排序，最后采用二八定律截取前十个被投诉驾校的占比。报告称2015年的457条有效数据中，有具体驾校名称投诉共计237条，涉及72所驾校。其中投诉量排名前十的驾校共计175条，涉及驾校投诉量的七成。

3、关键词提取分词技术

457条有效投诉消息，从文本内容中提取主事件关键词，例如“不安排考试”、“乱收费”等，并进行词频统计，最后输出投诉内容不同主关键词占比比例，抓住核心，突出重点。

报告称投诉内容“不安排考试”占近四成，涉及投诉内容最多的是“不安排考试“

这项工作数量不大时，一般人工分类处理。

4、成分分解

“不安排考试”占近四成，如果对这部分投诉信息进行深入剖析分解呢，是不是会得到更有意思的描述，这部分信息有没有某些共性。报告中这样写：181条“不安排考试”的投诉数据中，提及时长的共计162条，其中“半年至一年”的投诉最多，大多均未安排过任何一门考试，“一年至二年”的投诉则主要集中在不安排部分科目考试上。

还有，乱收费”焦点在“考试费”，457条有效数据中，涉及“乱收费”的投诉共计92条，其中“考试费”是“乱收费”投诉的焦点，主要涉及考试前收取三百至一千元不等的考试费、未通过的科目还要收取二百至七百元不等的补考费。而收取的“保过费”，最低600元，最高达1000元。“手续费”则是退费时扣除的费用，一般在一千多至数千元不等

逐层分解，问题不断被剖析，理顺关系，看清特征。

这个案例十分典型，也能从侧面说明该媒体日常运营中对数据的收集和监测能力，与其说是能力，不如说是意识，这难能可贵，同城媒体比较而言，试问在数据新闻领域都有过哪些尝试呢？

最后不得不说，这篇文章可能仅适合我的博客读者朋友们，因为通过学习和借鉴这个案例中所体现的数据处理及分析的方法，能增加数据分析爱好者、从业者、数据分析师们的数据思维，仅此。