大数据与传媒业发展1_数据分析师培训

互联网带来了继文字发明、古登堡印刷术、电报之后的第四次传播革命，也带来了继蒸汽机的发明和电力的广泛应用之后的第三次工业革命，已经成为整个社会的底层架构和标配。大数据作为互联网的一个重要方面，必将对传媒业带来革命性变化，这就要求传媒业从业人员具备大数据思维，充分利用大数据技术来帮助自身实现跨越式发展。

　　一、信息的开放与云计算带来了大数据

　　首先，传播革命使得信息数量呈指数级增加。在文字发明之前，人类的传播只能通过口口相传，信息量极其有限，公元前4000年楔形文字出现之后，使得传播可以突破时间限制而实现代际传播，通过把信息记录在龟甲、树叶、泥土等介质上，信息的数量开始大幅度增加。但是由于技术的制约，信息只能通过抄书人来进行记录和传播，导致信息的数量和传播范围都受到很大的制约。1450年，古登堡印刷术的发明使得传播突破了范围限制，传播开始从精英们的“权力”转变为普罗大众的“权利”，此后的50年间，大约有800万本书被印刷，比之前所有的手抄本还多。此后的电报技术的发明，使得传播突破地区和时间限制，信息的数量也快速增加。而1989年，当万维网出现之后，实现了即时、便捷、海量和互动的传播，人人在接受信息的同时都可能成为自媒体，信息数量极速增加。根据ZDNET的数据显示，2013年中国产生的数据总量超过0.8ZB，2倍于2012年，相当于2009年全球的数据总量。

　　其次，摩尔定律使得大数据成为可能。摩尔定律以英特尔创始人之一的戈登·摩尔命名，该定律认为，同一个面积集成电路上可容纳的晶体管数量，一到两年将增加一倍。即计算机硬件的处理速度和存储能力一到两年将提升一倍。从1965年摩尔定律提出以来，硬件技术的发展基本符合摩尔定律，尤其是当存储器的性能提高的同时，硬盘价格以更快的速度下降，即大约每9个月存储容量的价格就下降一半，1955年每兆字节存储量需要6000多美元，而到2010年，这个价格下降到不足1美分。硬件性能的快速增加和单位存储成本的大幅度下降，一方面使得数据处理速度更快、更方便，云计算技术被开发出来；另一方面，数据处理更为便宜，使得海量的数据积累成为可能，这两方面原因使得大数据具有了可能性。

　　第三，政府数据公开助推大数据发展。数据分为政府数据和企业数据，并且政府数据在数据中居于关键性地位，大数据要真正发挥作用，政府的信息必须公开。美国等西方发达国家大力推进数据开放运动，并于2011年9月20日，美国等8个国家在纽约发起“开放政府联盟”，以向本国社会开放更多的信息。目前，该联盟已经有50多个会员，30多个国家建立了公共数据的开放网站。2012 年3 月，奥巴马政府公布“大数据研发计划”，以提高和改进人们从海量、复杂的数据中获取知识的能力，发展收集、储存、保留、管理、分析和共享海量数据所需要的核心技术，大数据成为全世界关注的焦点。

　　因此，可以看出，互联网技术的发展与政府信息的公开是大数据发展的前提，而云计算则是大数据的基础。

　　二、大数据面面观

　　首先，何为大数据。大数据是指服务于决策，需要新型数据处理模式才能对其内容进行采集、存储、管理和分析的海量、高增长率和多样化的信息资产。大数据绝不仅仅是指规模大，其定义包括如下四层含义：一是大数据的目的是服务于决策，能够提升决策能力；二是现有的处理模式不能有效处理大数据；三是大数据是一种信息资产，而不仅仅是一堆数据和成本，所谓信息资产是指其能够为政府和企业带来未来经济利益的信息资源；四是大数据比海量数据更为复杂，海量数据包括结构化和半结构化的交易数据，而大数据除此以外还包括非结构化数据和交互数据。

　　其次，大数据具有在线性、海量性、全体性、非结构化、实时性等特点。一是在线性，即大数据是永远在线的，能够随时被调用的；二是海量性，即大数据规模巨大，当前通常指10TB规模以上的数据量；三是全体性，即大数据采取的是全体思维，而不是样本思维；四是非结构化，即大数据的种类繁多，不仅包括传统的关系数据，而且包括以网页、视频、音频、e-mail、文档等形式存在的未加工的、半结构化的和非结构化的数据；五是实时性，即大数据能够实时反应。例如，在Google搜索框输入一个关键词，能够瞬间呈现。

　　第三，大数据代表着新的思想和思维。大数据既能处理“因果关系”又能处理“相关关系”，即不仅能够回答“为什么”又能回答“是什么”。在小数据时代，只能通过抽样调查的方式来回答“为什么”，而大数据则能通过全样本的方式来回答“是什么”，即发现相关关系，这能够帮助我们更好地认识和了解世界。

　　第四，大数据的关键在于智能化，即能利用有效的工具对数据进行有效的挖掘和专业化处理，进而通过“加工”实现数据的“增值”，进而实现盈利。目前，所用的方法主要有数据挖掘和对比分析，主流的相关技术主要有MapReduce(一种编程模型)和Hadoop(一个分布式系统基础架构)为代表的非关系数据分析技术。

　　第五，大数据分析相对于传统办法具有显著的优势。一是大数据能够实现分析的高度智能化，即一方面实现信息收集和分析的智能化，另一方面实现数据与用户需求的有效匹配；二是大数据分析改变之前的市场调研和数据分析相对滞后的模式和方式，能够及时、迅速地进行分析；三是由于可以大量使用技术手段，其成本相对较低。

　　第六，大数据的实施依赖于数据的可获得度、模型是否科学和观点的提炼。其一，在数据的可获得度方面，目前在国内，大数据的发展受制于一些政府信息的公开性不够，很多数据难以获得，导致难以实现真正的大数据挖掘和分析；其二，在模型建构方面，模型的科学性直接决定着数据分析的质量，这就要求有高超的建模水平；其三，在观点提炼方面，为决策提供依据的基于数据挖掘的独到、高质量的观点，高度依赖于高质量的数据解释，这就体现了行业专家的价值。

　　第七，大数据与云计算有机深度融合。由于大数据需要处理大量的非结构化数据，为云计算大规模和分布式的计算能力提供了广阔的应用空间，云计算已经实现了数据分析即服务，二者相伴而生。此外，当未来基于数据的语义网取代基于网页的互联网时，大数据必将成为我们获取信息的主流。

　　三、大数据给传统媒体业带来的机遇与挑战

　　1.大数据带来巨大机遇

　　首先，大数据颠覆传媒业。当前，我们已经进入大数据时代，主要标志就是已经从内容稀缺时代转变为信息过载时代，这对传媒业带来了革命性影响。一是信息量指数式增长。相关研究表明，从2007年到2013年，人类存储的数据量从300艾字节快速增加到1.2泽字节，增长了数倍，而其中非数字数据只占不到2%。二是信息内容更加丰富。除了传统媒体生产的原创内容之外，一方面由于博客、微博、微信等很多自媒体平台的出现，大量的、高质量的自媒体内容层出不穷；另一方面由于互联网的海量空间使得以往不可能获得版面的生活服务类信息可以传递给用户，而且对于广大用户来讲，这些资讯比新闻的用户黏度更高。因此，新闻和内容的稀缺性进一步被稀释，其价值也必然被降低，也越来越难以收费。三是基于大数据的互联网媒体正在快速颠覆传媒业旧格局。一方面，在广告市场方面。根据国家工商总局的数据，2013年，所有媒体的发布费用为2144.13亿元，其中电视为1101.10亿元，同比下滑2.75%；报社为504.70亿元，同比下滑9.17%。可以看出，我国互联网广告已经成为仅次于广电的第二大广告市场，而2014年会超过广电，成为我国第一大广告行业。并且由于互联网依然保持着40%左右的增长速度，而传统媒体却呈现下滑趋势，可以预测在未来5年内，互联网广告会占据绝大多数媒体发布费用。另一方面，互联网媒体正在大量分流传统媒体的用户和人才。