助力精细营销 电信行业大数据分析详解

移动互联网时代的来临，给人们的生活和娱乐方式带来了天翻地覆的变化，尤其是3G网络的出现，使得人们已经突破了时间和空间的限制，随时随地都可与他人交流沟通。这一全新事物的迅猛发展，给电信运营商带来许多商机，同时也出现了一些挑战。例如随着移动互联网的普及，用户移动数据流量迅猛增长，数据流量收入已经超过了点对点短信业务，成为拉动数据业务收入增长的主要驱动力。

　　如何应对大商机下的大挑战

尽管新的商业凸显，但挑战也应运而生。如在3G全业务市场竞争环境下，电信运营商急需根据竞争情况和用户需求，加快实现流量的实时计费和提醒，优化数据流量资费体系，降低资费水平差距，提高精细化营销能力，不断提高客户满意度并降低流量投诉等等。而这一切都催生了对流量大数据分析的需求，大数据依赖于成熟的技术方案，但从目前看来，运营商现有的系统架构并不能很好地满足这些需求。

从电信运营商的整体系统架构来看，其主要面临四个方面的挑战：

首先，传统电信运营商的系统建设分散，很难实现资源和应用共享。诸如经营分析、信令监测、综合网络分析、不良信息监测以及上网日志留存等大数据系统垂直建设较多。同时，很多省分公司的系统建设存在重复建设、应用重复开发、各类专家资源无法共享等情况。

其次，则是数据分散存储，标准化程度低。要对电信行业的流量大数据进行分析，就必须实现数据的集中存储，并有统一的标准。但从目前来看，各级电信运营商各大数据系统的数据模型并未统一，跨系统综合分析较为困难，在原有基础之上实现统一管理的难度较高。

再者，以OLTP为核心的传统架构难以满足新业务发展要求。电信运营商IT架构较为传统的做法是采用高端架构建设(类IOE)，成本极高。并且，其仅具备良好的结构化数据处理能力，在飞速增长的非结构化、半结构化数据处理方面显得心有余而力不足。除此之外，传统的IT架构在高速增长的数据背景之下，很难满足其存储需求。

除了上述之外，目前电信运营商的大部分业务都只对内提供服务，未能有效地进行成规模商业利用。如何建立商业模式?如何解决用户隐私保护问题?这是各大电信运营商都需要深思的问题。

面对上述难题与挑战，并结合电信运营商现有业务，曙光存储提出了针对电信运营商大数据管理总体系统框架模型，其主要分为四层，即物理层、数据层、模型层和应用层。其中数据层是整个运营商大数据管理的核心部分，为上层应用提供数据支持。具体如下图所示：

那么其在实际环境中的表现是怎么的呢?下面我们来看看河南移动大数据平台的案例。

河南移动Hadoop平台案例分享

作为省级电信运营商，河南移动也需要满足前文所提到的优化资费体系、提高精细化营销、提升用户体验等需求。因此，为了推进全网数据流量的精细化经营，提升数据流量经营效益，河南移动与曙光公司合作进行了经分系统流量运营分析工程的建设。

该平台首先用于经分业务，基于平台来提高数据处理速度，为公司业务开展提供数据支撑。除此之外，该平台还用于处理每月账单。以现有传统Oracle数据库集群 + 小型机 + 高端FC磁盘阵列的模式，暂时能够保证每月1日按时提供用户账单，但以每年15%的数据增长量，用户估计一年后就难以满足需要，因此需要搭建一个处理能力更强，扩展性更高的平台来替代现有系统。

根据河南移动提出的需求，曙光公司依据在分布式计算领域多年的积累和研究提出了基于IB网的Hadoop分布式计算平台的方案。具体如下图所示：

在这一项目建设之中，其采用150台A620r-G双路服务器构建Hadoop平台，100台A840r-G四路服务器构建数据库处理平台，全系统以Infiniband网络互联，系统平台的IB网络设计中，所有的网络设备的连接均采用冗余设计。

这一设计方案的好处在于，每台服务器配置两个IB端口，IB端口通过冗余绑定方式分别与两台不同的汇聚交换机相连;此外通过高度冗余的三台二层交换机将所有汇聚交换机连接为统一的子网，最大限度的提高系统的冗余度和节点间通信带宽限制;两个IB网关设备底层各自与两台二层交换机相连，上层分别与一台路由器连接，上层的两台路由器通过VRRP技术实现IB网关的冗余连接，保证当任意一台网关或路由设备出现故障时，底层服务器均有链路连接到上层网络。

通过上述方案，该系统实现了Ethernet、Fibre channel、Infiniband三网融合，最大可能的满足Hadoop集群和数据库处理平台的高速通讯的需要。

这仅仅是曙光公司面向大数据处理与分析的一个较为典型的案例而已，实际上，针对电信行业的需求与挑战，曙光公司提出了各种有针对性的解决方案，下面我们就来一下在电信行业较为典型的话费详单查询系统解决方案和电信流量业务DPI系统解决方案。

迎难而上 曙光电信行业解决方案一览

　　话费详单查询系统解决方案

随着科技与生活水平的提高，手机已经成为现代人必不可少的通讯工具之一。面对上千万甚至上亿用户所产生的海量数据信息，如何在最短时间内精准定位数据，并返回正确的查询结果，这是电信运营商最为迫切需要解决的问题。

针对话费详单公众查询查询业务，系统设计上要满足海量历史数据的获取和存储，同时也要满足大并发量的查询和检索。针对海量详单查询系统的架构设计如下：

这一系统的特点在于，将查询数据和生产去耦合，生产数据中转之后再进行处理。再借助曙光XData大数据处理平台，实现数据的高效导入、查询及处理。面对海量数据的增长，这一大数据处理平台的线性扩展架构，能够面对数据量增加和查询量增加而轻松扩展。

　　电信流量业务DPI系统解决方案

移动智能终端的大肆兴起，使得数据业务迅猛增长，在带来收入的同时，也产生了诸多的难题。例如用户感知差，P2P滥用基站资源的有限带宽资源，高峰时段用户感知差，基站维护和增建，网络优化缺少依据。安全威胁多，黄色、暴力、反动等不良内容充斥网络 ，被黑客控制的僵尸网络主机。快速蔓延，安全隐患严重 ，DDoS攻击手段日新月异，攻击行为泛滥且难于防范。

同时，电信运营商的运维管理能力也遭遇巨大挑战，疲于应付各种事件和问题，各个系统无规则迭加部署，众多的离散系统，无法统一管理，网络的可用性和可维护性面临挑战。迫切需要统一的系统对网络应用监管，实现业务的保值到增值。针对这些难题，曙光构建了基于大数据理念的电信流量业务DPI系统解决方案，具体架构如下：

这一方案的特点在于，其采用高速设备直接从骨干网络抓取数据，而曙光XData大数据平台能够应对大规模流量做近实时的分析，并感知整个网络状态，优化网络运行。在应对海量数据处理、并发方面，大数据平台币传统的关系型数据平台更加适合DPI业务处理。

　　结语

电信行业当前面临的数据挑战和新业务运营的压力，曙光大数据解决方案能够充分发挥出数据的价值，在流量深度感知，新业务开发，传统业务增强方面，具有高性价比，易于管理和扩展等特性，效果显著，为运营商在移动互联网时代快速发展增加引擎动力。