如何驾驭与处理大数据挑战成企业应用关键

  大数据(Big data)近年来快速成长，根据麦肯锡全球研究中心在2011年5月发表的全球大数据研究报告指出，全球资料量光是在2010年就增加了70亿GB，相当于4千座美国国会图书馆典藏数据的总和。

  如何产生、消费和储存大数据，已经成为近年来企业IT应用的重要趋势。如在eBay上，平均每天有将近1亿名用户查询商品数百万次，更有上百万件商品在在线交易，导致eBay数据库每天新增的数据，超过1.5兆笔，每天增加的数据量超过50TB，这些大数据如果没有作进一步的分析应用，势必会影响eBay的企业营运。

  应用大数据 提高企业竞争力

  至于制造业，其实也会产生许多大数据，但宇清数字智能总经理郭仲仁指出，许多企业却不见得会重新检视这些信息，其实只要经过大数据技术分析，透过细微的观察分析及萃取，就可能从中找到提高生产力及缩短产品交期的信息。

  如晶圆代工、面板等产业，都会碰到等待时间不能超过特定时间的压力，偏偏有30~40%的机器，会有这方面的问题。如果有任何一种等待因素需要有三个共同部门负责，结果其实就可能不会有人负责，唯有让每一种等待因素都能被该负责的部门看到，才会有人愿意进一步的去分析每一种因素的相关数据。

  郭仲仁认为，如果能找到一种大数据的分析方法，能够混和资料采矿过程，搜集相关资料掌握下游如何影响上游，进行相关分析，让客户找到重点，并找到真正可以操作的KPI，才会有很大的机会，找到改善的重点及方法，而这也才是大数据分析应用的价值所在。

  扩展企业IT架构 驾驭大数据

  企业如果能够驾驭大数据，自然能够提升竞争力，但戴尔企业解决方案市场开发经理陈毅达指出，目前的资料，却已经超越传统数据库或现有数据管理工具能够处里的范围。因为在爆炸性的数据增长过程中，结构性数据的成长相当缓慢，反观非结构性的数据，包括视讯、网页、智能型手机、消费数据、位置数据、财务服务数据，以及社会媒体数据等，陈毅达指出，至少有80%的数据，属于非结构化数据，大约500万亿个文文件，而且数据量每两年增加一倍。

  但目前的数据库解决方案，却主要是用来设计储存结构化数据，除了只能针对已知问题的回答速度进行优化外，架构本身往往就决定了内容形式，对于新数据型态与新问题，都有适应上的困难，加上扩展成本高昂，企业势必得寻求不同以往的数据处理解决方案，才能面对爆炸性的资料增长。

  优化大数据 创造数据价值

  事实上，数据成长的速度，确实相当惊人。根据IDC统计，数字世界的信息容量将会从2009年的0.8ZB，在2020年成长到35ZB，等于每15秒就成长1PB，年复合成长率高达40%，而且这些数据数据不仅巨大而且不同，如何优化数据，方便且容易的搜寻到所需要的信息，也变得更加困难。

  丽台科技新事业处软件产品部业务副总经理万蕙如指出，前各产业平均数据储存量，以证券投资、银行居首，其次则是制造业、通讯媒体、国营事业、政府机构等，整个产业生态，需要更快速实时获取针对特定商业工作项目或流程的综合细部信息。

  因为在信息暴增的时代，企业营运所面对的挑战，包括一直在更新的大量数据、更快速响应大量终端用户的需求，多数工作者都需要迅速且有效率地查询正确信息，如何能更实时正确地传递关键信息，以加强特定作业流程的产出与绩效，已是当前企业IT部门必须面对的问题。

  万蕙如认为，企业想要优化大数据，应该要考虑信息搜寻技术的新世代应用。如Search-Based Applicatioin(SBA)，是一种使用最新进的搜索暨索引(Search and Index)技术作为结构、半结构和非结构信息，汇整分析功能开发之基底平台的应用软件，这种信息分析的新方法，可同时提供支持特定工作或流程，而量身订做的定量和定性数据图表分析，可全面强化企业日常业务实时决策的准确性。

  应用虚拟化技术 提升大数据处理效能

  除了信息搜索技术外，虚拟化技术在大数据时代，也变得更加重要。事实上，虚拟化环境目前面对的最主要挑战之一，其实就是大数据时代的来临，让数据的储存及备份，变得更加困难。但群晖科技软件开发部经理张成钰指出，大数据对虚拟化储存，是挑战也是机会，只要能克服数据保护效率，做好多重复制的环境布署操作，仍能提供非常完整的数据保护虚拟环境。

  张成钰表示，虚拟化的好处之一，就是IT资源的处理效能可以更好，因为再强的实体主机，运作效能还是有上限，其实储存设置也有强大的运算能力，可以分散运算工作，用来解决虚拟化环境的效能瓶颈。

  要强化虚拟环境操作的效能，张成钰指出，除了产品应该专为虚拟环境量身打造，完整支持主流的虚拟化解决方案外，主要的虚拟储存进阶功能，也相当重要，如储存设备就需要面对传输效能的问题。张成钰指出，固态硬盘(SSD)可让虚拟化储存在面对大数据的挑战时，提供效能提升的重要帮助。如藉由安装SSD进行快取，可大幅提升读取效能，关键在于系统是否无须在成本与效能上妥协，使用少量的SSD，即可达到效能升级。

  善用云端服务 处理大数据

  事实上，在大数据时代，企业不仅要考虑数据的储存及应用，传输技术也非常重要，尤其在云端运算时代，许多企业会将数据存放在云端，如果云端端服务业者，无法提供高质量的数据传输服务，企业就很难实时存取资料，用来作进一步的规划。

  恩悌悌业务部资深副理林志鸿指出，如果企业选择将数据储存在各地分公司或企业总部机房，势必会有人力、物力及金钱方面的投资成本，但如果将数据放在云端，在大数据时代，就需要大带宽，才能缩短传输时间，如NTT在2012年正式启用的ASE海缆，配合这几年在香港、东京、新加坡及马来西亚投资的机房建设，才能提供亚太地区所需要的高速数据传输服务。

  此外，云端服务业者在数据派送服务的优化技术，也会影响大数据的应用。林志鸿表示，类似Youtube、PPS的串流技术，许多云端服务业者已经开始提供，可以提高传输效率，缩短数据传输的时间，可以减轻对带宽的压力。

  驾驭大数据应用的关键技术

  大数据不只是需要储存及传输，也需要做更深入的分析，才能让大数据更多的价值。淡江大学统计系副教授陈景祥指出，有没有必要使用全部资料，是许多企业可以思考的问题。思考的方向首先就是成本，而且除了有形的金钱成本外，时间及人力资源等无形成本，也都需要一并考虑;其次是精确度会受到多少影响，造成的决策风险会有多高，最后则是软硬件方面的限制，是否真的有足够的能力使用全部数据，进行统计分析。

  陈景祥强调，企业若要进行数据探勘，一定要先有目标设定，光是只有数据，是无法透过数据探勘获得所需要的信息。其他还要考虑的重点，还包括目前的科技限制，软硬件及人力时间成本等。值得注意的是，企业得到资料探勘结果后，并不是到此为止。陈景祥强调，数据探勘只是辅助，并非全部自动化，后续还是需要人力来执行归纳分析，才能真正发挥大数据的价值。