希捷日前宣布推出ClusterStor Hadoop工作流加速设备，该新型解决方案提供各种工具、服务和支持，适用于高性能计算（HPC）客户，可满足他们通过最佳性能的存储系统实现大数据分析的需求。Hadoop工作流加速设备包含全套Hadoop优化工具、服务和支持，可以利用和增强ClusterStor的性能；ClusterStor是市场领先的横向扩展型存储系统，专门用于大数据分析。计算密集型的高性能数据分析（HPDA）环境可以利用Hadoop工作流加速设备大幅度缩短数据传输时间。该解决方案还带有Hadoop on Lustre连接器，因此无须在文件系统或存储设备之间移动数据，Hadoop和HPC Lustre两种集群便能够使用完全相同的数据。
IDC公司高性能计算研究副总裁Steve Conway表示：“数据密集型计算长期以来都是HPC的一部分，但是采用Hadoop等方法的最新分析方式，如图形分析方式，将促进高性能数据分析的强劲增长，这便是需要HPC的大数据市场。Hadoop工作流加速设备可服务于这个不断融合的大数据HPC市场的技术计算和商业层面，IDC预计该市场将于2018年超过40亿美元。IDC研究显示，29%的HPC站点已经采用了Hadoop。能够提升Hadoop性能和效率的工具将在这个市场找到用武之地。”
Hadoop工作流加速设备支持基于开源Apache Hadoop的Hadoop产品。希捷携手各领先的Hadoop厂商，为HPC客户提供同类最佳的解决方案，并且未来还将实现Hadoop工作流加速设备和其它Hadoop产品之间更加紧密的集成。
希捷公司云系统和解决方案部门ClusterStor业务副总裁Ken Claffey表示：“企业不仅希望管理好他们从各种渠道收集的海量数据，而且还希望能够从中获取新的分析结论，从而得到有用的信息并提高运营效率。现在有了Hadoop工作流加速设备的协助，希捷屡获殊荣的ClusterStor横向扩展型HPC解决方案便可使企业能够优化其大数据工作流程，并将数据存储集中化，最终实现各种高性能数据分析解决方案。TeraSort基准测试结果显示，基于相同的硬件时，Hadoop工作流加速设备的性能超过Hadoop分布式文件系统（HDFS）上的Hadoop产品高达38%。Hadoop工作流加速设备能够满足客户的性能需求，并可以优化Hadoop系统部署设备的性能，因此能够帮助客户迅速获得数据密集型工作负载和硬件配置的分析结果。”
希捷ClusterStor系统创新的横向扩展型HPC架构能够实现一个集中的数据库，使得HPC和Hadoop两种分析工具能够同时利用ClusterStor的相同数据集。Hadoop工作流加速设备从每项任务伊始便立即开展Hadoop数据处理，从而极大地缩短了获得分析结果的时间，并且还可以减少从独立数据库批量拷贝大量数据的冗长步骤。有了这个加速设备，Hadoop环境便能够独立扩展计算和存储资源，从而提高优化分析资源的灵活性，同时还支持100PB级存储容量的集中化高性能数据库。
Hadoop工作流加速设备的详情如下：
- 通过Mahout、Hive、Pig等应用对Hadoop工作流加速设备开展的测试结果显示，标准存储配置的Apache Hadoop 1.0性能有显著改善。TeraSort基准测试结果显示，Hadoop工作流加速设备的性能超过HDFS上的Hadoop产品高达38%。希捷可以提供上述测试以及其它一些测试的详细情况。- Hadoop工作流加速设备包含希捷开发的Hadoop on Lustre连接器，ClusterStor性能优化最佳实践，系统调整方法，安装和配置管理工具，以及各种专业的服务。- 希捷打造的Hadoop on Lustre连接器系列产品扩大了兼容性，可进一步支持多种Hadoop系统封装，包括Mahout、Hive和Pig，以便充分发挥40 Gig-E和Infiniband等高速网络上运行的Lustre文件系统的并行读/写性能。- ClusterStor Hadoop工作流加速设备兼容Hadoop 1.0和Hadoop 2.0或Yarn产品，并且无须更改代码，也无须重新汇编Hadoop或Lustre系统。- Hadoop工作流加速设备兼容现有的基于HDFS的Hadoop安装项目。在使用该加速设备之前，无须将数据迁移至希捷ClusterStor，因为用户在执行Hadoop任务时，可以交替地对ClusterStor和HDFS进行读写操作。
定价和上市
希捷Hadoop工作流加速设备计划于一月份上市供应，届时将提供不同的产品组合，分别含有各种不同的性能优化等级、服务和支持。欲联系希捷代表，请登录我们的联系方式网页。
希捷目前正在新奥尔良参加2014全球超级计算大会（SC14），展期为11月16-21日，在此期间，希捷将在3239号展台上展示Hadoop工作流加速设备。