星环大数据——互联网+时代的新引擎_数据分析师

在互联网时代，当下最热门的词语可能就是“大数据”了，手机话费账单是大数据、信用卡消费记录是大数据、就连往我们常常使用的支付宝背后也有大数据的支撑。数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。“大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。

　　比肩硅谷：专注产品打造平台

　　大数据作为云计算、物联网之后IT行业又一大颠覆性的技术革命。云计算主要为数据资产提供了保管、访问的场所和渠道，而数据才是真正有价值的资产。企业内部的经营交易信息、互联网世界中的商品物流信息，互联网世界中的人与人交互信息、位置信息等，其数量将远远超越现有企业IT架构和基础设施的承载能力，实时性要求也将大大超越现有的计算能力。如何盘活这些数据资产，使其为国家治理、企业决策乃至个人生活服务，是大数据的核心议题，也是云计算内在的灵魂和必然的升级方向。

　　星环信息科技有限公司是目前国内极少数掌握企业级大数据Hadoop和Spark核心技术的高科技公司，从事大数据时代核心平台数据库软件的研发与服务。在全球去IOE的大背景下，Hadoop技术已成为公认的替代传统数据库的大数据产品。公司产品Transwarp Data Hub (TDH)的整体架构及功能特性比肩硅谷同行，产品性能在业界处于领先水平。

　　公司研发团队是国内最早的大数据Hadoop发行版团队，从2009年起即开始致力于大数据Hadoop平台软件的开发，与硅谷同类公司同时起步;2011年在中国率先推出Hadoop发行版;之后，团队负责人原英特尔亚太研发中心CTO孙元浩、亚太区销售总监佘晖离开英特尔，创办星环科技。以上海为核心总部，并在北京、广州、南京、济南等地分设办事处。

　　TDH是基于Hadoop和Spark的分布式内存分析引擎和实时在线大规模计算分析平台，相比开源Hadoop版本有10x~100x倍性能提升，可处理GB到PB级别的数据。星环科技同时提供存储、分析和挖掘大数据的高效数据平台和服务。

　　产品研发：精准定位预见未来

　　大数据(Big data)通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。明白这一点至关重要，也正是这一点促使该技术具备走向众多企业的潜力。

　　“大数据”的影响，增加了对信息管理专家的需求，甲骨文，IBM，微软和SAP花了超过15亿美元的在软件智能数据管理和分析的专业公司，这个行业自身价值超过1000亿美元，每年还在不断增长。

　　星环信息科技(上海)有限公司总经理佘晖在采访中告诉记者，现在大数据处理的服务商很多，但是专业从事大数据基础软件平台产品研发的企业并不多，尤其像星环信息科技这样具备一百多人的研发团队在国内非常少。在这个快速发展的时代，企业要有“预见未来”的判断，精准测算出今后一个月乃至一年市场上需要怎样的大数据产品，研发团队能够快速跟上市场步伐。星环信息科技的目标就是要做中国的“甲骨文”，迅速占领市场。

　　大数据有四个层面特点：第一，数据体量巨大。从TB级别，跃升到PB级别;第二，数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质。

　　优质性能：服务领域前景广阔

　　人们任何时候都与数据或信息交互。星环信息科技(上海)有限公司总经理佘晖给记者举了个例子，广东移动公司目前有几亿个用户，如果用户发短信到移动公司查询帐单的详细情况过去可能需要一分钟去处理这些数据信息，现在应用新型的大数据处理产品只要一秒钟就能给客户提供账单。与国际知名公司相比星环信息科技提供的大数据处理产品价格便宜而且后续服务的费用也会相对低廉，因此市场前景十分广阔。

　　星环信息科技(上海)有限公司总经理佘晖告诉记者，大数据处理系统不但能给企业带来经济效益，还有许多社会价值。比如城市交通越来越繁忙，机动车辆不断增加，地方政府需要好的方法对过往车辆进行监控管理，从而提供更好的交通服务。有些城市安装了上千台数字监控设备，这些设备7×24小时不间断捕获图像和视频数据，每月数据量达TB级。可是这些数据如何处理应用非常麻烦，星环信息科技的大数据分析，就能提高城市机动车的管理效率。用大数据技术，不到1秒即可得到从24亿条过车数据中的机动车号牌查询出的精确结果和行车轨迹。如果遇到交通案件侦破需要侦破，过去需要警察通过肉眼在图像中识别犯罪车辆，安装了大数据处理系统之后机动车违法图像信息门可根据车辆的颜色、车型、号牌等信息实时查询其历史行为、行车路线和车辆营运公司、驾驶人等关联信息，也许几十天完成的工作量可以在十秒钟时间内完成。

　　在使用信用卡的过程中也有许多大数据的应用，比如某金融机构的信用卡中心拥有大量银行卡实时交易数据，该中心需要打造开放的大数据平台使得各业务部门可以挖掘这些数据中的价值。大数据的软件可以根据刷卡消费的时间、金额和种类分析商圈的范围和密度，找出特定消费类别的重点区域和重点人群。根据刷卡记录分析持卡人的行为特征，如年龄阶段、性别、支付能力、消费频繁度、兴趣爱好、职业性质等等，采用协同过滤等机器学习算法为持卡人推荐合适的商户或产品。从持卡人复杂的连续交易行为中挖掘出规律，一方面找出沉默用户并分析流失可能性，另一方面利用消费规律下推测该用户在未来一段时间内很大概率会发生的消费行为，进行精准的营销。

　　核心竞争：构建团队占领市场

　　星环信息科技的产品在医疗卫生、邮政快递、电子商务等诸多领域都能运用。如果要迅速占领市场先发制人就需要大量的人才作为后盾。星环信息科技研发团队大多来自知名外企，员工主要是研发工程师，以博士硕士为主，有许多顶尖人才来自谷歌、微软、甲骨文这些优秀外企。优秀的企业发展前景也吸引了不少毕业于复旦、交大的高校人才，公司从创业之初的八个人发展到如今的一百多人只用了两年的时间，这样的研发团队规模在国内专业大数据Hadoop开发的团队中首屈一指。

　　为了用好人才、留住人才，星环信息科技在同行业内给员工的工资待遇算比较高，而且实行全员持股，在发展的过程中已经完成了三轮融资。继续开发产品，快速融资，尽快实现上市目标，迅速占领大数据市场是星环信息科技目前的发展思路。

　　Hadoop真的来了!随着市场快速发展，移动终端爆炸性增长，尤其近三年“大数据”的提出，企业系统中的数据也开始出现了类几何级数增长的问题。在看到了这片新“处女地”后，开源及互联网领域里的Hadoop技术专家们纷纷自立门户，开始以Hadoop发行版的方式向企业级市场进军，一时间Hadoop市场呈现出“群雄逐鹿”的战国场面。 毕竟，企业级市场才是整个IT领域中那颗“皇冠上的珍珠”。在美国，Cloudera、Hortonworks、MapR已经成为主流Hadoop发行版厂商，各自拥有几百个企业客户IBM的 Big Insights也是一个Hadoop版本，虽然Big Insights轮不上IBM主要产品线，但相信客户数也不少。

　　这样的风潮固然起源于硅谷，但今日的地球“是平的”，中国IT业也早不是以前了。在国家“创新”战略的影响下，纷纷加入到Hadoop技术的竞争中来，推出自己的企业版本。星环信息科技一马当先，已经加入到顶级技术PK的战队中，其Transwarp Data Hub是国内自主的最早一个发行版，也是国际上除DataBricks以外最早的Spark企业发行版。华为，亚信，Redhaoop等也以自身的品牌，市场或者社区优势推出基于Hadoop的大数据平台 。再加上国外的几家厂商，可谓盛况空前，谁能解决客户的问题，谁就能发展。

　　如果我们看下传统数据库厂商的收入和hadoop厂商的收入，我们就会明白，竞争才刚刚开始。Hadoop的兴起不是一个产品代替另一类产品，而是在硬件发展到一定阶段一个计算模式代替另一个计算模式。大数据一定会颠覆我们传统的思维，引导无限想象的未来世界。