Hadoop——大数据处理的宠儿

摘要:驱动大数据增长的主要因素包括移动设备和社交网络的大幅度增长、以往纸质文件的数字化以及科研数据的增长。  


  驱动增长的主要因素包括移动设备和社交网络的大幅度增长、以往纸质文件的数字化以及科研数据的增长。“他们的存档文件正在高速增长,因为他们并不清楚哪些需要保存,哪些不需要保存,”EMC旗下的Isilon公司美国首席技术官Rob Peglar说道。

  各个产业的公司都在为大数据分析投入大量资金。其中一个产业为对病人数据进行分析诊疗的医疗产业。Peglar说,在金融服务产业,对数据进行定性分析也颇受关注。在这方面,分析的是杂乱无章的股票交易数据。大数据分析在制造和设计业的应用也有所增长,但增长最快的市场还是对用户行为数据进行分析以获得市场情报信息的社会媒体和电子商务产业。

  Hadoop—-大数据处理的宠儿

  在众多的大数据分析平台当中,最为人所知的是ApacheHadoop平台。这是一个用于分布式计算的开源软件框架。Hadoop源于Google的MapReduce软件框架以及Google使用的专有文件系统“Google文件系统”。Hadoop项目的参与者包括雅虎、LinkedIn、Facebook、Twitter、加州大学伯克利分校、Last.fm等。

  大数据分析需求的增长主要受杂乱无章的数据的驱动,这正是Hadoop所擅长处理的数据。“这是对传统结构化数据库的补充,”Peglar说道。“结构化数据在增长,但是杂乱无章的数据的增长率要快得多。”

  除非能部署一个由Isilon、Teradata或Oracle等公司提供的大数据应用,否则公司很有可能将类似Hadoop的分析平台的计算基础设施部署在商用硬件上。451集团的资深分析师RachelChalmers称,“Hadoop对其运行的基础设施平台做出了某些假设。”

  由于Hadoop基于Google的MapReduce,因此设想它将运行在类似Google的同质商用基础设施之上。此外,它还了解哪些CPU将用于服务器硬盘存储,”Chalmers解释道。

  缺少大数据处理的通用平台

  部署哪种类型的分析系统将取决于客户的特定需求。数据分析领域的主要公司Teradata的产品营销总监JimDietz称,某些客户对处理速度的需求高于对处理数量的需求。在这种情况下,他们会购买一个超高性能的应用。而对于那些希望存储并分析数千用户行为数据的客户,他们则需要可存储各种海量数据,并具有高处理性能的解决方案。

  对于专业存储厂商来说,“我们与大数据厂商更多的是合作,不是竞争,因为产品架构不一样。硬盘厂商将硬盘提供给专业存储厂家,专业存储厂家再将多颗硬盘整合到一起提供给IT存储厂商,IT存储厂商的任务是将这些基础存储介质整合成一个应用系统给上端大量的数据来做存储、交换、分析和保护。

  此外,公司所部署的解决方案设计还必须具有足够的灵活性,以应对未来的强劲增长需求。

  大数据意味着高密度

  Peglar说,可能影响数据中心管理者大数据(尤其是杂乱无章的大数据)基础设施部署的首要因素是存储。这些存储阵列的面积和电力需求取决于它们对能源及对可用存储空间的使用效率。

  计划实施大数据分析

  科尔特说,那些推出了大数据分析的企业,往往是在金融服务和医疗保健领域,在这些领域,大量的数据可以被用于归结揭示趋势和最佳做法。

  TheInfoPro公司每年进行一次热门技术指数调查,询问数百名IT专业人士关于他们的技术计划相关问题。该公司最新调查活动是在2011年8月至今年四月期间进行的。

  不足为奇的是,受访者再次选择服务器虚拟化技术作为企业能力增长的主要驱动力,与光纤通道SAN是企业数据存储的主要目标。67%的受访者表示,他们将80%到100%的生产服务器连接到光纤通道SAN。

  驱动器容量的增长

  然而,去年,随着SAS、固态硬盘(SSD)和SATA驱动器逐渐占据企业占主导地位,使得光纤通道硬盘驱动器市场大受打击。

  如果问问这些企业在2011年购买了什么新的磁盘存储设备,48%的受访者表示购买了光纤通道驱动器,31%的表示SATA驱动器,19%的为SAS,2%的为SSD固态硬盘驱动器。但是,当被问及这些企业今年采购增长最多的设备,41%的受访者表示他们购买了SAS驱动器,35%的为SSD固态硬盘驱动器;23%的为SATA驱动器;11%的表示为光纤通道。

  混合阵列和SSD固态硬盘