开源与初创公司加速计划 惠普发力大数据
- +1 你赞过了
【雷竞技须安全稳定 信息化频道】近日,惠普发力大数据市场,推出新产品、服务和开发者计划。新版HP Vertica,具有数据流和高级日志文件文本搜索功能,以支持物联网数据的高速分析。代号为Excavator的新版HP Vertica为开源技术提供广泛的支持和贡献,包括优化的Hadoop性能、与Apache Kafka分布式消息系统集成,以及Distributed R预测性分析中的改进。
拥抱大数据开源
数据流分析——Excavator提供Apache Kafka开源分布式消息系统的本地支持,帮助企业近乎实时地快速获取并分析物联网等高速流数据。该功能可以为广泛的使用案例提供可行动的洞察,包括制造流程控制、供应链优化、医疗监测、财务风险管理和欺诈检测。
先进的机器日志文本搜索——Excavator能够帮助企业收集系统和业务应用生成的大型日志文件并进行索引,帮助IT部门快速发现和预测应用故障和网络攻击,并调查授权和未经授权的访问。
HP Vertica对于SQL on Hadoop本地文件支持——新版Vertica大幅提升了ORC和Parquet等流行Hadoop格式的性能。惠普还与Hortonworks携手开发了一个新的高性能访问层,帮助SQL查询能够直接在ORC文件上运行,执行速度提高了五倍。
HP Vertica Flex Zone Table Library——惠普已经向全球开发者社区开放了其创新的Flex Table按需模式技术的源代码。如此一来,企业将能够全面利用几乎任何形式的半结构化数据以满足自己独特的需求。
与Apache Spark的原生集成——惠普承诺未来将继续集成Vertica和Apache Spark。这将实现Vertica和Spark之间更快速的数据传输,帮助企业充分利用基于Spark的部署。这项未来功能将让开发者在Spark中开发自己的模型,并在Vertica中运行以进行高速的复杂分析。
我们看到新版的HP Vertica融入了更多的开源技术,对此,中国惠普有限公司软件集团总经理副总裁李时表示,在大数据生态系统中,开源软件和商业软件融合共存。商业软件在性能、稳定性和可维护性方面有它的优势,但开源软件在成本等方面有自己独到的优势。从这个角度来讲,不同的企业或者企业不同的应用场景,开源软件和商业软件是有不同的适用范围的。惠普希望通过开放的、可扩展的平台,更好地将开源软件集成,企业可以通过统一的平台,访问所有开源软件和商业软件中存储的数据,快速构建企业应用,帮助企业在竞争中脱颖而出。
李时说,HP Haven平台基础架构既可以部署在传统的数据中心,也可以部署在大型企业自身的私有云、中小企业所采用的公有云上,以及Hadoop架构上面。HP Haven共有三个核心组件。一是HP IDOL,可以处理非结构化和半结构化数据,即文本、视频、音频等数据;二是HP Vertica,是一个大规模并发处理的数据库,主要负责处理结构化数据,可以实时处理上百TB甚至是几个PB级海量数据;三是称为分布式R的开发工具,主要应用于建模。传统R作为建模工具,更适用于在小机器上做建模分析,一旦数据量庞大,就会出现性能瓶颈。通过创新性的分布式R,可以支持超大规模数据的预测性分析,另外可以采用基础架构集群,提升建模和运行的效率。
通过这三个核心组件的智能接口,HP Haven可以连接企业内部所有类型的数据,进行超大规模的快速部署分析,利用HP Haven OnDemand平台存储所有公有云、私有云数据,另外通过分布式R的先进分析能力,为开发者提供很好的接口来利用HP Haven的杰出能力,最后构建复合分析应用,真正将数据变成对企业有用的信息。
HP Haven大数据平台对于不同客户的不同需求,主要有三种实现方式。
针对大型企业我们推出了HP Haven Enterprise,即HP Haven企业级平台,其组件包括IDOL、Vertica和分布式R,可以和云基础架构相结合实现复杂应用分析,在处理能力、安全性、可维护性等方面都具有非常好的性能。
从云上提供Haven On Hadoop,适用于对数据量要求不大、对预测分析建模性能要求没有实时性要求的中小企业。同时,企业可以借助HP Vertica实现Hadoop查询,既能利用Hadoop的拓展性与成本优势,同时也能够使开发者采用他所熟悉的SQL语言,实现更优质更快速的应用开发。另外,对较为主流的Hadoop厂家如MapR、Hortonworks和Cloudera等进行本地化支持,保证其稳定性和性能。
云上Haven OnDemand实际上就是将 Haven大数据平台部署在亚马逊、Azure等公有云平台上。对于开发者或者是中小企业而言,可以将Haven当做SaaS平台,把自身数据上传到云中,通过API和编程接口来使用Haven所具有的快速搜索、查询和人脸识别等功能,迅速构建适合所在企业分级查询的应用。
HP Haven应用框架加快解决方案开发
惠普还推出了一个创新的框架,其中包括技术和已经证明的最佳实践,以加快下一代分析应用的开发。通过快速启动可视化、整合的数据源、开放的本地和云端API,该框架扩展了HP Haven大数据平台。这让惠普专业服务团队和惠普合作伙伴能够快速地提供广泛的解决方案,例如客户舆情分析、智慧城市和欺诈检测。
李时表示,HP Haven是一个大数据平台,很像是一个中间件式的产品,一个好的开发者生态系统对于Haven平台的成功将是非常重要的因素。我们面向开发者提供了Haven社区版,完全免费。在网站上下载后就可以直接做应用原型开发,应用商品化之后可以升级采用企业版。第二,我们设立了一个开发者论坛,给所有基于Haven的大数据开发者提供一个沟通、分享和交流的平台,让大家可以把自己在大数据方面的创新互相展示、互相分享,通过思想碰撞来孵化出更多、更好的创新,加速想法变为产品的过程。最后,包括开发者的联合创新,在平台上跟早期客户的动态互动;同时,也可以创建新的收入模式,通过不停的试错迭代,找到最适合的应用商业模式。
HP Haven初创公司加速计划
除了面向开发者的支持,惠普还推出了HP Haven初创公司加速器,这项新计划旨在向初创公司提供惠普大数据和应用交付管理软件产品,从而支持和扩大惠普的开发者和创新者生态系统。对于寻求利用分析和数据来开发强大的差异化应用的企业而言,该计划消除了之前的障碍。
李时表示,初创公司加速计划帮助创业的公司在HP Haven平台上快速地开发和部署其优秀的应用和创新性产品。企业通过免费社区版发展到一定规模之后,可以升级为高级版,高级版将提供更强有力的数据分析处理能力,来助力初创企业快速成长。HP Haven还提供先进的应用开发工具,保证初创公司更快地把他们的想法变现,同时优化管理环境。
李时强调,HP Haven在市场上是非常受客户欢迎的。比如各种各样类型的社交网站,其中包括Facebook这样一个拥有全球最大实时数据分析量的客户。除此之外,在零售业、游戏行业、医疗行业等各行各业全球领先的企业中,应用Haven平台开发也为数不少。
总结
从这次惠普这对于其大数据平台的更新来看,惠普大数据生态圈的雏形在显现。从版本的更新到开发者和初创公司的加速计划,惠普的大数据生态正在快速增长。开源技术的融入让惠普大数据平台的开放性提升到了一个新的高度,这对于开发者而言非常具有吸引力。惠普大数据平台在帮助企业应对大数据挑战方面将发挥越来越重要的作用。