知意图大数据一体机2.0 诠释Hadoop简单之美

2012年11月30日于北京开幕的HBTC 2012 (Hadoop与大数据技术大会 2012，原 Hadoop in China) 技术盛会上，云集众多学者、企业用户以及技术领袖。大会发扬开源精神的角度，联合国际和国内 Hadoop 及大数据应用的产学界人士和成功企业，通过技术应用审视大数据技术生态系统的现状和发展趋势，围绕大数据处理、信息检索、内容挖掘、自然语言理解、数据可视化、计算广告学、地理信息系统等相关技术主题进行探讨，充分促进 Hadoop 与大数据技术在国内的应用实践。

Etu 知意图首席顾问陈昭宇先生，在本届大会上进行了题为”企业应用Hadoop 的最佳模式”的主题演讲。在演讲中，陈昭宇先生不仅介绍了知意图大数据一体机 Etu Appliance 2.0 版本的最新功能，同时也向与会嘉宾分享知意图的用户和伙伴基于 Etu Appliance 2.0 上开发的行业解决方案与应用案例，让更多对大数据感兴趣但充满疑虑的人，充分了解大数据如何真正的落地。

Etu 知意图是亚洲大数据解决方案的领导品牌，专注于电信、金融、与电商行业的大数据解决方案研发，于 2012 年3 月28 日正式发布了亚洲第一个基于Hadoop 的大数据一体机产品 —— Etu Appliance。在此次 HBTC 2012 年度盛会中，Etu 知意图再次与现场的嘉宾分享了技术卓越的 Hadoop 大数据一体机产品Etu Appliance 的最新版本。这一版本在 Hadoop 生态系统的开源基础上，除了计算效能是用户自行搭建系统的3~12倍外，还实现了一键式的大规模集群自动部署、非仅是Name Node的系统全面性 HA、Kerberos/LDAP集成的多租户安全性、高效数据采集、集群集中管理等特色功能，是一个真正企业级即插即用的 Hadoop 一体机产品。

“因为Etu 知意图深刻理解 Hadoop 应用开发者与系统管理员的痛，我们独到的设计让Etu Appliance 2.0 确实做到了 Hadoop集群部署、管理、HA、安全性都简单难以超越，计算与网络传输效能高性价。这是亚洲的骄傲，并首先在中国发布。”Etu 知意图负责人蒋居裕在 HBTC 2012 大会上如此表示。

来自 Etu 知意图的大数据系统架构专家施宏良 (Jason Shih) 先生，也和与会嘉宾一起做了“从 Hadoop 安全架构部署实施到高等服务的演变”的精彩分享，施宏良先生认为目前使用 Hadoop 的开源框架，组织和管理庞大的数据量已经成为解决快速数据处理和提高分析能力的趋势。但企业对于数据与集群系统的安全有更高的要求，从不同层面或者访问权限上分离敏感信息和隔离共享存储或计算机设备。在 Hadoop 0.20 之前的版本中，类似 Unix 的文件权限已经提及并提供集群内的简单身份验证机制，但缺乏访问控制每个作业队列，控制提交等操作。为了使用新的安全功能，Etu Appliance 2.0集成了 Kerberos 网络认证协议，使其具备强大的身份验证和授权，保证严格的访问控制数据，资源和隔离之间运行的任务。施宏良先生分享了基于 Kerberos 的 Hadoop 安全集群环境的基础设施部署细节以及如何以此实现高层次的服务。通过 Etu Appliance 的快速部署和自动化系统内置的跨域认证机制，实现现有的活动域与外部 LDAP 域的互操作，并有效减少集成和操作的管理员开销。

2012 年5 月，Etu 知意图正式在北京发布了基于Hadoop 的Etu Appliance 知意图大数据一体机。同年10 月，又针对电子商务的行业特征推出具有针对性的解决方案知意图精准推荐系统 Etu Recommender。标志着Etu 知意图以Etu Appliance 知意图大数据一体机为数据处理平台为基础，支撑多种行业应用的“一横多纵”产品走向初步建立。

大数据起源于互联网，因而使用大数据的人才大多也扎根互联网。为了改善“人才瓶颈就是技术瓶颈”的现状，Etu 知意图为了更好的帮助中国用户实现 Hadoop 大数据处理与分析价值，特别在北京建立了 Hadoop 开发原厂团队和技术支持团队，Etu 知意图大数据一体机降低 Hadoop 采用上的系统门槛，帮助企业跨越大数据处理基础架构的障碍。Etu 知意图清楚的知道 Hadoop 等技术是实现大数据的技术手段，让企业发现数据背后的价值，集中精力透过数据寻找新的商业机会上才是大数据的核心意义。（文章来源：CDA数据分析师）