大数据中的先行产业_数据分析师

对来自互联网的非结构化数据中隐含的舆情信息进行提炼和分析，正在大数据的第一波浪潮中创造出越来越大的市场空间。而如何利用从互联网、社交网络、移动应用等创新领域创造的、呈现出爆发式增长的海量非结构化数据中创造价值，是当前大数据行业最为关注的热点话题。利用海量数据分析工具和算法对来自互联网的非结构化数据中隐含的舆情信息进行提炼和分析，从而为政府和企业管理者的工作提供决策支持，也正在大数据的第一波浪潮之中创造出越来越大的市场空间。

面对互联网上的海量信息，如何有效地发现和分析互联网舆情，是当前各类互联网信息系统必须面对的事实。2013年7月，国务院办公厅公布的《国务院关于加快促进信息消费扩大内需的若干意见》中指出了六个方面，其中一个方面就是加大信息消费产品的供给。大数据舆情属于互联网信息服务产业，同时也属于目前新一代信息技术和软件领域的热门领域。

而在整个大数据产业之中，互联网舆情监测行业作为先发者也正在迎来巨大的机遇。有分析数据显示，在中国舆情监测软件的市场规模将很快达到10亿以上，而在未来几年之中，舆情监测服务产业将会进一步迎来爆发式的增长，整个市场规模将达到100亿左右。

大数据市场中的引领产业

对于所有意欲在大数据产业中有所作为的IT服务商而言，互联网舆情监测服务的巨大商机都意味着所有市场的角逐者都会将其当做是不可能忽视的巨大馅饼。诚然互联网舆情对信息获取的“实时性、全面性”有更高的要求，因此，互联网舆情系统必须能支持大数据的舆情处理，才能有效为用户提供舆情服务。

位于连云港市的江苏金鸽网络科技有限公司，就是互联网舆情监测服务行业中的先行者之一。这家成立于1997年的IT服务商先后通过了ISO9001：2008质量管理体系国际认证和ISO27001：2005信息安全管理体系国际认证。公司软件开发能力成熟度（CMMI）达到国际SEI组织规定的三级标准，并从网站建设、网络安全等信息技术贸易起步，自主研发国内互联网精准搜索领域技术，推出互联网信息搜索与监测系统软件、基于社交网络分析的情报搜集与分析系统、基于波特5力模型的企业情报系统、干部动态信息管理系统、面向行业的垂直搜索引擎、科技创新服务平台等一系列解决方案。

在互联网舆情监测服务行业之中，江苏金鸽的商业模型基本思路是以“基于SaaS模式的互联网舆情监测平台”为基础，以县市级行政区域为渠道单元，以客户关系管理系统为手段，基于商业生态系统理念，整合直接用户和区域代理商或功能服务商等合作伙伴，通过构建独特的商业价值网络，使利益相关方在既定的规则和关系中，均能获得持续稳定的收益，以期实现产业价值分享和共赢。而江苏金鸽在此价值网中将扮演知识、技术和解决方案提供商角色。

江苏金鸽研发的产品“互联网信息搜索与监测系统”，结合公司基于商业生态系统构建的创新商业模式，已经在全国很多地区进行推广和销售，除了一些行业典型客户如河南和海南省消防、南京市检察院、连云港市委宣传部、淮海工学院、湖南省水文局、连云港港务局等等以外，还在长沙、郑州、深圳、长春、石家庄、南京、成都等地，与合作伙伴共同建设有基于SaaS服务的互联网舆情监测服务平台。

对ISV的“全才”式要求

“在整个互联网舆情分析产业之中，舆情软件主要围绕互联网舆情搜索与监测进行，虽然一些厂商提出了一些面向不同政府部门的舆情系统改进版本，但几乎仍是传统舆情监测的功能，仅仅是界面等有些变化。没有体现出行业互联网舆情海量非结构化数据处理的特点。”江苏金鸽公司负责人陈宗华表示。

在他看来，政府不同的职能部门的舆情监控功能应当有所侧重，比如政府宣传部门监测舆情，应该是对本地域所有重大事件进行监控，而且还有舆情导控的功能，而消防部门关注的是本地与消防有关的舆情，组织部门侧重的是本地的干部监测等。只有在深入的结合行业工作特点的基础上，才能体现互联网舆情处理的优势。

而要想做到这些，整个舆情处理系统必须具有很好的架构支持，比如在采集目标管理和知识库构建上都要分公共和行业管理，而且可进行自由扩展，监测专题的自动生成需结合行业特征进行。系统的功能应该是可配置的，为不同的行业配置不同的功能模块。

“因此，面对大数据舆情，系统的发展方向应该是面向行业的细分，比如政府版、组织检察版、消防版、环保版、教育版等等，而且应该和行业固有工作密切结合。随着移动终端的普及，不仅仅是给用户提供浏览器或者App方式的手机客户端，而是要研发多元化的输入模式的搜索、精准的内容返回、个性化的搜索体验。”陈宗华说。

互联网舆情监控解决方案的开发，需要ISV在各个前沿的技术领域具备一定的能力。在陈宗华看来，这一行业中的ISV必须有能力结合云计算、大数据、社交网络分析、移动搜索等密切相关的技术，这样研发出的产品才具有技术竞争力。其中，互联网知识工程是以知识为基础构建的互联网智能信息系统。涉及到知识获取、知识表示和知识应用等技术。

改进已有数据挖掘和机器学习技术；开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术；突破基于对象的数据连接、相似性连接等大数据融合技术；突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。

社会网络分析关注的焦点是关系和关系的模式，涉及到数据挖掘中的关联分析，相关矩阵或差异矩阵的统计分析，社交网络划分，核心人物识别，信息扩展过程，圈子话题倾向分析，小世界理论，六度空间分割等方法和技术。

而智能信息处理是计算机科学中的前沿交叉学科，是应用导向的综合性学科，其目标是处理海量和复杂信息，研究新的、先进的理论和技术。以互联网应用为主要背景的特定领域智能信息处理，包括：大规模文本处理、多媒体信息检索与处理、基于Web的知识挖掘、提炼和集成等。

互联网海量信息的高效采集方法，需结合模板定制采集，更重要的是使用诸多媒体自带的内置搜索功能，靠完全爬取多个媒体的信息技术已经很难满足客户的综合需要。而监测主题的机器理解，在监测互联网舆情时，多是以专题的形式定制的，而专题在描述时有关键词、短语、规则（关键词及与、或关系）、一段话、若干篇文章，如何支持多种形式的主题描述，如何能自动理解用户对主题的描述，是舆情主题监测的首页一环。

此外，舆情处理系统在采集、正文提取、排重、分词、命名实体识别、分类、聚类、检索、简报专报生成、各类舆情统计、存储等环节中，需要面对并行处理问题。大数据处理的核心问题是并行化处理和信息存储，只有解决好了这些环节，才能体现一个舆情处理系统在大数据处理上的优势。

即便是在各个技术领域都做好了准备，利用大数据技术搭建互联网舆情分析系统对ISV而言同样意味着重大挑战。在陈宗华看来，与用户具体工作和业务流程的结合，以及舆情处理分析过程中的安全性，是这一产业ISV所面临最为主要的难点和挑战。

“行业大数据舆情系统开发与用户工作的结合，研发的系统在业务领域，工作模式，工作流程，功能设计等环节都应与用户的工作密切结合。”他表示，“此外，我们公司的互联网舆情分析采用先进的SaaS模式提供服务，而在软件服务过程中，舆情安全性、保密性、可追溯性都值得注意。”

而对于企业本身，研发团队的培养同样是进军这一市场所必需的关注点。大数据舆情涉及情报分析、新闻传播、计算语言、数据挖掘、机器学习、自然语言理解、社交网络分析、网络安全、知识工程、信息检索等等知识领域，如何组建一支知识结构合理、水平高的专业研发团队是一个舆情软件研发公司必须面对的问题。此外，企业的商业模式同样要具有独特价值，才能在这个新兴的产业市场之中取得较大的核心竞争优势。

打造多维度生态圈

在基于互联网的舆情分析产业之中，拥有发展机遇的不仅仅是分析技术的提供者。自行开发之外，IT方案商也可以通过合作的方式，将其他企业的技术用于用户解决方案的部署。从而与提供核心技术的ISV之间，形成立体的生态合作关系。

“在互联网舆情分析领域，人民网拥有雄厚的实力和共识性的身份，他们旗下的技术团队开发了全套基于大数据技术的互联网舆情分析系统，并在许多政府和大型国有企业的宣传部门中使用，我公司也与他们建立了合作关系，将他们的解决方案在我们的智慧城市等项目中部署。”南京幻方科技有限公司CEO陈哲介绍。

在陈哲看来，传统行业包括物流运输等领域受到应用开放程度限制，大数据挖掘的需求并不是特别高。而在政府和国有企业中，对舆情的分析和处理投入巨大，在政府舆情监控的带动下，一些大型的国有企业都参与到舆情监测控制项目的投入中。这方面的非结构化数据分析处理解决方案市场发展前景看好。

而对于竞争力优势在大数据之外领域的企业而言，要想进入这一被看好的市场，采取与其他企业合作的方式，同样能够帮助企业获得成功。如陈宗华所言，互联网大数据舆情分析市场的推广，离不开产业链上下游伙伴之间精诚的合作。在生态圈中，ISV最为主要的任务是推动市场更加创新，用更快的速度复制应用，从而把整个蛋糕做大。只有应用足够吸引人，后面的发展才会顺理成章。而将创新的应用与用户个性化的需求进行结合，让更多的政府、企业单位宣传、市场和业务部门负责人接受这一新的技术，同样也是贴近用户的IT方案商最重要的任务和最核心的业务价值所在。