解析浪潮云谷CloudCanyon V1.0创新算法_雷竞技须安全稳定

【雷竞技须安全稳定云计算频道1月9日消息】随着各行业对数据价值认知的不断提高，大数据成为继云计算之后最火热的词汇。为应对各行业海量数据处理需求，大数据一体机应运而生。作为业界领先的云计算解决方案及服务提供商，浪潮在近日发布了自主研发的云海大数据一体机系统软件,创新优化算法的大数据处理平台——浪潮云谷CloudCanyon V1.0。小编在同浪潮大数据一体机产品经理的交流中，对这款产品有了更深入的了解。下面，就为大家带来最新鲜的浪潮云谷Cloud Canyon V1.0版本的解析资料。

浪潮云谷CloudCanyon V1.0是面向行业海量数据整合、分析、挖掘的大数据平台，是浪潮大数据一体机的灵魂，是浪潮行业大数据业务的核心发动机。最新发布的浪潮云谷CloudCanyon V1.0版本采用创新算法，涵盖数据存储、数据处理等全环节。Canyon本义大峡谷，CloudCanyon是云中大峡谷的意思，浪潮云谷CloudCanyon寓意浪潮提供的这款系统软件是处理云计算和大数据的大峡谷，任海量数据排山倒海，汹涌而至，尽收云谷，如清风拂云泰然处之。

浪潮云谷CloudCanyon V1.0是能够提供企业级的、兼具高可靠性和稳定性的Hadoop平台，其组件包括HDFS分布式文件存储系统、MapReduce编程框架、ZooKeeper分布式协同工作系统以及Hive数据仓库，Pig数据流分析平台和HBase分布式数据库、Sqoop数据转移工具和分布式监控工具。

创新算法实现性能提升10倍以上

浪潮云谷CloudCanyon V1.0的核心框架在原有Hadoop架构上开发，使用了浪潮自主研发的算法，包括自适应调度算法、低消耗锁算法、热点数据感知的负载均衡算法。经过实际测试，这些算法从整体上大大提升了大规模集群的性能，在执行诸如1TB数据排序、100亿条记录查询、大小表联合查询、1TB单词统计等任务时，比原有方案的性能提升至少十倍。

创新算法同时也解决了原有架构的扩展瓶颈，兼顾了数据驱动型的纵向和横向扩展：既支持单节点计算能力的扩展(即更高性能的CPU、更大容量的内存)，也能将整个集群扩展至数千节点。此外，还支持动态改变数据结构，在不影响业务的情况下进行表结构变化。

与现有系统的无缝集成

随着大数据技术的不断发展，新的应用组件不断出现，封闭的平台已经不能满足日益增长的用户需求。用户需要根据特定的需求编写满足应用的大数据平台程序，但不同的用户对编程使用的语言是不同的，有的编程人员对Java比较热衷，有的编程人员对脚本语言等有强烈的需求。为了更好的在平台开发特定需求的应用程序，浪潮云谷CloudCanyon V1.0提供了开发总线，集成了Java、Python、Shell、C/C++等通用的编程接口，能够提供强大的、多功能开发接口，满足不同用户的编程需求，为应用程序的开发带来了极大的便捷性。

浪潮云谷CloudCanyon V1.0中的HDFS 支持Posix接口，可以像本地文件系统一样挂载使用，用户的应用程序不需要进行任何修改就可以无缝的迁移到CloudCanyon V1.0上，大大降低了使用的难度和门槛。

高密度、多维度的自动化监控体系

浪潮云谷CloudCanyon V1.0可以对大规模集群进行高密度、多维度的自动化监控报警，由此保证集群的稳定性和安全性。

随着集群规模的不断扩大，业务复杂性的不断提升，传统的监控手段已经不再能满足需求。浪潮云谷CloudCanyon V1.0监控报警工具可以实时监控系统的运行状态，包括系统服务、CPU 、内存、网络、Hadoop组件服务的运行状态等等，并通过可视化的界面呈现，实现对集群的精细化监控。

浪潮云谷CloudCanyon V1.0可以自动收集软硬件运行状态，对硬件异常、操作系统异常进行报警;通过监控Hadoop运行情况，自动识别Hadoop运行故障，自动报警;支持报警等级的自定义：用户可以对各种故障等级进行自定义，不同报警等级以界面、邮件、短信等方式实现多元化的报警组合。通过制定灵活可控的告警策略，为管理员提供实时而准确的告警通知和详尽清晰的报表分析数据，帮助数据中心的运维人员随时掌握数据中心的各类软硬件资源的运行状况，降低运维管理复杂度，提高运维效率。

$说明: C:\Users\lby\Documents\Tencent Files\59156424\Image\0$K}JWPN8X4]])86SJ[SDOG.jpg$

自我感知的智能管理

在大数据技术快速发展的时代，数据采集技术、数据存储技术、数据处理技术、数据挖掘技术等都有其对应的大数据组件。如何将满足用户不同需求的大数据组件自动化安装部署、集中配置和管理集群是用户关心的问题。浪潮云谷CloudCanyon V1.0自我感知式的智能管理，正是为解决用户的这些问题而诞生的。

浪潮云谷CloudCanyon V1.0自我感知式的智能管理主要实现了自动化部署集群、向导式界面安装，用户可以非常方便的对集群进行安装和卸载操作。配置管理功能实现了界面自动化配置，用户可以根据应用需要对集群中的配置参数进行集中修改，省却了单一手动配置多个文件的繁琐操作。同时，服务管理功能采用了一键式启动，用户既可以集中启动或停止多个服务，也可以单独的启动或停止某一个服务，方便用户管理集群和服务。