当证券行业遇到大数据：一站式方案或受欢迎

有人说从网格计算、云计算到大数据，犹如一场IT价值实现的进化论。在IT发展史中，如果某种技术不能够很好地商业化和市场化，那么该项技术再出色 也不能获得很大的市场认可和成功。今天，大数据比以往任何一项IT技术都获得了广泛的市场认可，并且逐渐走向商业化之路。大数据现在不仅仅是IT行业的一个炒作概念，更像是一场探寻和挖掘数据价值的运动，与各行各业有着越来越紧密的联系。 在美国，奥巴马政府已经开始重视大数据及其相关价值，将大数据上升为国家意志，政府投资2亿美金启动了“大数据研究和发展计划”，希望增强收集海量 数据、分析萃取信息的能力。

在政府层面的支持和带头，能够促使各种不同行业对于大数据的认识和加快行动。我国的经济总量位居世界前列，GDP全球第二，且 具有世界上最多的人口，随着信息化日渐融入我国国民的日常生活，大数据和挖掘数据价值也已经成为一项非常值得探索的领域。目前，国内除了互联网、电信等行 业在大数据领域被看好之外，证券行业同样被认为在大数据应用前景广阔，且国内已经有一些券商开始试水大数据应用。大数据对于用户IT环境颇有“牵一发而动 全身”的味道，在基础架构、数据安全、数据分析等多个方面都需要全方位的准备。对于证券行业来说，又该在基础架构、数据安全、数据分析、业务模式等方面如 何做好充分准备？ 

前景广阔、意义非凡 

对于当今的企业而言，数据就是一种重要的战略资产，它就像新时代的石油一样，极富开采价值。如果能够看清大数据的价值并且迅速行动起来，那么在未来 的商业竞争中占据会占得先机。大数据一个显著特点就是打破了企业传统数据的边界，改变了过去商业智能仅仅依靠企业内部业务数据的局面，其背后蕴含的商业价 值不可低估。 过去传统的商业智能局限在分析企业信息系统自身产生出来业务数据，这些数据大部分为数据库等结构化数据，而随着非结构化数据成为企业数据的主力军， 传统商业智能的方式方法显然已经落伍。

大数据分析是基于构化和非结构化数据的总和，在数据分析的全面性上是传统商业智能所不能比拟的，这意味着通过分析结 构能够提供给企业更加全面和准确的商业洞察力。 在过去几年，我们也发现证券行业正在发生着剧烈的变化。互联网的广泛普及、社交网络化的深入人心、移动互联网的快速崛起，使得证券行业在大数据时代 充满了挑战的同时，也看到一个前景广阔的未来。

此时，谁敢勇于拥抱大数据，谁就将在未来的竞争中占据有利位置。IDC就在其大数据相关报告中着重阐述了大 数据的商业价值：行业领导企业与其他企业有着本质的区别，行业领导企业会积极将新的数据类型引入到数据分析之中，为商业决策做出更加准确的判断，那些没引 入新的分析技术和新的数据类型的企业在未来是不可能成为行业领导者。 

目前，国外已经有一些金融机构将数据分析与社交网络进行结合，通过大数据分析来预测未来某些金融现象。2011年，英国对冲基金Derwent Capital Markets建立了规模为4000万美金的对冲基金，该基金是首家基于社交网络的对冲基金，该基金通过对Twitter的数据内容来感知市场情绪，从而 进行投资。无独有偶，通过分析Twitter用户对股票的敏感度以及市场情绪也成为科学机构的研究对象，2012年年初，美国加州大学河滨分校公布了一项 通过对Twitter消息进行分析从而预测股票涨跌的研究报告。

图一：英国对冲基金Derwent Capital Markets通过分析Twitter数据来预测股市的波动，该应用为典型的大数据应用，通过实时分析数据来获得更为准确的投资趋势。图中红线代表 Tweets中“平静”数值；蓝线表示3天后的道指变化。在这两条线段重合的部分，“平静”指数预测了3天后道指收盘指数，从图中我们可以发现红、蓝两线 经常走势相近。 证券行业资深IT专家颜阳博士就表示：“企业数据就是新时代还未开采的石油，具有非常之高的价值。国外一些金融机构已经开始做一些前瞻性的研究，这 种做法是非常值得学习和借鉴的。比如国内已经有一些券商开始研究互联网、微博与股市的关系，通过舆情分析现有的业务与数据研究上市公司的走势。” 中国惠普专家也表示：“随着Facebook、Twitter、Youtube这些Web2.0技术的飞速发展，全世界都意识到大数据的重要性。可 以说证券行业是建立在IT系统的基础之上的，随着互联网的发展，特别是移动互联网、社交网络的快速普及，券商如果仅仅满足提供网上或手机炒股这种服务是远 远不够的，作为拥有大量优质数据的券商行业用户其实具有非常好的条件来拥抱大数据，通过大数据来挖掘出更多有价值的信息和提供更加优质的服务。” 

基础架构不能忽视

 毫无疑问的是，大数据需要有优秀的数据分析工具和人才，但仅仅拥有诸如Hadoop、NoSQL等方面的软件或者专业人士是远远不够的。甚至，现在 有些用户本末倒置，过分强调或寄希望于大数据分析软件。追本溯源，如果一套好的大数据分析软件架构没有一个强有力的基础架构做支撑，那么用户也不能够充分 发挥出大数据挖掘潜力。而且，我们需要面对的是一个充满着结构化、半结构化、非结构化数据的复杂数据环境，这个全新数据环境正在对我们的基础架构带来深远 的变革和影响。”

图二：全球知名调研机构IDC公司 对全球数据增长以及数据类型分布情况的调研与预测。相对于传统的结构化数据，非结构化数据、内容数据的增长迅速，这也使得用户的数据环境变得日趋复杂，给用户的IT基础架构建设带来巨大影响。 

大数据具有数据量特别庞大、数据种类特别复杂、处理速度要求快等特点，这些特点就决定了用户需要有着非常健壮的IT基础架构，并且值得关注的是，大 数据带动了企业将更多IT精力投入到数据分析这个层面，这也从侧面决定了起到支撑作用的IT基础架构需要具备更加出色的性能、更加良好的扩展性以及更加出 色灵活性，只有在灵活性、可靠性、高性能等方面有保障，才能够发挥出数据分析环境的潜能。从某种程度而言，大数据其实将吸纳进更多IT新技术到企业中，是 企业IT环境变得更加复杂，对IT基础架构也提出了更高的要求。中国惠普专家则表示：“大数据时代需要用户花费更多精力和人力去关注像虚拟化、 Hadoop、并行分析数据库、内存数据库、半结构化/非结构化数据搜索技术等。在IT资源有限的情况下，IT基础架构的建设和维护必须要可以轻松完成， 这样才能够花费更多精力和人员到数据分析上。” 

对于证券行业而言，过去可能仅仅需要处理交易性数据，现在则需要快速处理来自各种社交网络的半结构化或非结构化数据；过去可能仅仅备份容量较少的结 构化数据，现在则需要应对海量数据的存储与移动；过去可能仅仅只需要单一类型IO的处理能力，现在则需要高的混合IO处理能力……这系列的变化使得券商在 服务器、存储和网络等基础架构环境都需要重新审视自身的基础建构是否合理和是否具有前瞻性。证券行业资深IT专家颜阳博士就表示：“国内有前瞻意识的券商 已经在一些转型，逐渐开始涉足一些非结构化或半结构化数据的处理。”

 另外一个不容忽视的趋势是大数据是在云计算基础之上的数据分析与价值挖掘，开放平台是云计算到大数据一直贯穿始终的主旋律，开放的软硬件平台成为大 数据的不二选择。像X86基础架构具有天然的开放性、良好的扩展性、出色的性能以及可靠性，这些特点与大数据在基础架构上的需求天然契合。IDC中国企业 级系统与软件研究部高级研究经理周震刚就表示：“大数据会推动基础架构向Scale-Out架构发展。与传统数据处理方式不同，大数据由于在数据量上非常 庞大、数据类型比较复杂，使得大数据处理需要的是多节点、多CPU处理的方式，这意味着大数据时代发展方向是从Scale-Up想Scale-Out发 展。”

图三：大数据的特点。 中国惠普专家也表示：“通过惠普对证券行业多年的深入了解，证券行业用户在大数据时代需要更加易用的基础架构，以此保证有更多资源放在数据分析工 作；建议采用开放的架构和技术，比如工业标准服务器、虚拟化、Hadoop等技术，因为开放架构和技术在基础架构的灵活性、扩展性、管理性以及成本上都有 着长期优势；同时，建议采用软硬件组合放来来缩短系统建设周期、降低基础架构维护时间和成本。 

行业用户：一站式大数据方案前景如何？ 

大数据处理技术层面上具有数据量特别庞大、数据种类特别复杂、处理速度要求快等鲜明特点之外，其实也带有着浓厚的行业背景。每个行业在自身的数据类 型特点、业务处理模式、应用类型特点等都千差万别，这是由自身行业背景所决定的，基于石油行业的大数据解决方案定然不会适合金融证券行业领域。

图四：全球知名咨询机构麦肯锡对美国不同行业的大数据相关业务特性做出的统计，每个行业在整体价值潜 力、数据量、波动性、供销伙伴数量、交易密度、行业波动性都有着区别，金融证券行业在整体价值潜力、数量量、绩效波动性、交易密度上都名列前茅，这意味着 金融证券行业的大数据解决方案需要更加关注这些方面。 我们会发现当前在大数据领域有着较为深入应用的都是互联网或者电信行业，这些行业用户对自身业务了解较深、且具有强大的IT团队和IT开发能力，使 得自身的大数据方案上有着更多灵活的选择。

事实上，很多行业在IT团队和IT能力上并不能像互联网或电信行业那样，很多大数据所有工作都由自身团队来完 成。正是出于这种现实情况，目前很多厂商包括惠普、EMC、IBM、Oracle也相应推出了针对不同行业的一站式打包整体解决方案，来满足很多没有较强 IT能力的行业用户在大数据方面的需求。 从本质上来看，企业用户在商业决策中需要的是一个包含了灵活可靠的基础架构、功能强大的数据分析能力与经验丰富的行业分析能力的大数据综合性解决方 案，仅仅依靠几套开源软件和设备是不能满足企业在商业决策上的长久需求。

IDC中国企业级系统与软件研究部高级研究经理周震刚就表示：“从传统概念来讲， 大数据非常复杂，无法形成打包好的分析应用解决方案。不过在未来几年中，某个行业的应用会形成一个共性，厂商们会基于这个共性打包出一些大数据的解决方案 推向这些行业用户。” 惠普中国专家也表示：“一个开放、灵活、强大、即买即用的大数据解决方案是行业用户所需要的。一站式或者说打包的大数据解决方案一定会是未来的趋 势，打包性的方案会让行业用户将更多精力放在数据分析以及数据价值挖掘上，从而真正让IT部门从一个附属部门变成价值生产部门。惠普的大数据打包方案包含 了最优秀的软硬件产品、开放式架构以及惠普在大数据领域的经验和实践。”

 对于证券行业用户而言，受到市场周期、交易波动影响较大，经过长期的IT建设，有着一定规模的IT团队和IT能力，但受制于各种因素，在大数据解决 方案方面，不可能完全依靠自身的IT团队就能够有效构建出符合自身公司的方案。一站式或者打包的大数据解决方案如果能够具有性能出色、扩展灵活的硬件架 构、厂商能够在打包方案中对软硬件进行底层优化之外，保持整个方案的开放性和易维护性，使得证券行业用户能够自主后续开发，那对于证券行业的用户而言不失 为一种最佳选择。