对象存储与Hadoop、OpenStack的整合

对象存储初创公司Scality将其存储添加到Hadoop，使用户可避免通过Hadoop自己的文件系统加载数据。他们还推出了一款针对Cinder——在OpenStack项目里面的块存储层的插件。

RING是基于一组X86服务器节点的对象存储基础架构，存储对象而不是文件或块，而且可以并行操作。

Scality提供的一个被称为“生产级Hadoop存储实施”使用了CDMI——由SNIA开发和推广的面向云计算数据管理的云存储标准。CDMI开始缓慢被供应商支持但处于回升的步伐。

Scality已经使用自己的元数据架构替换了Hadoop命名节点(Name Node)服务器，从而消除了Hadoop架构中的单点故障。该公司表示，其Hadoop实现可以在存储节点自身上面适当的处理、计算，并通过与作业跟踪共享数据位置显著地降低了数据传输的需求。

Scality表示，其RING的擦除编码意味着省去了由于复制产生的任何Hadoop硬件开销。另外“用户可以通过一个标准的文件系统写入和读取文件，并在相同的时间用Hadoop处理过程，而不需要通过HDFS(Hadoop分布式文件系统)加载文件”。

Scality公司首席执行官Jerome Lecat说：“我们已经贡献我们的Hadoop解决方案到CDMI社区，确保它可以与任何的CDMI兼容存储一起使用。...我们的CDMI框架(framework)可以直接从我们的向外扩展(scale-out)文件系统读取数据，没有必要在执行一个MapReduce作业之前做HDFS获取。“

Scality的产品兼容、并且已经与Hortonworks HDP 1.0和Cloudera CDH4测试过——没有显现出Scality正在寻求替代或者与现有的Hadoop发行版竞争。通过添加一个RING后端，在某种程度上，Scality 表示它提供了一个更具成本效益、更容易使用、更有弹性和更高性能的Hadoop基??础设施，同时用户从Scality的SOFS(Scale-Out文件系统)中受益。

Lecat表示：“我们的角度是，我们认为人们想要做到在“普通”的数据上进行Hadoop工作，不只是他们特别为Hadoop准备的(数据)。在我的印象中，这对于Hadoop是非常有价值的，但它被事实扼杀了，人们需要在任何MapReduce作业之前做一个HDFS摄取。由于我们不再需要这样了。”

Lecat说：“试想一下，如果你现在使用MapReduce你可以做什么——这是工作在存储节点上的——去做数据转换，如新的编码，作为一个新的版本得出结果，这节省了大量的处理时间。它在以前需要将数据从存储移动到服务器，进行转换然后写回存储。”

OpenStack对象存储

OpenStack是一个云或基础设施即服务(IaaS)，基于免费的、开放源码的软件来控制在数据中心里的计算，存储和网络资源池，用户通过一个门户自助分配，而管理人员通过仪表盘(dashboard)管理整个群。Rackspace和许多其他供应商都积极和大声支持OpenStack。现在Scality也来凑热闹。

Cinder是对在OpenStack中的一个块存储层的代码名称，它使虚拟机(VM)发现和使用持久的块级卷，而Scality针对它提供了一个RING插件。 Lecat表示：“这个贡献使OpenStack的采用者追赶上了亚马逊针对虚拟机的EBS持久卷。随着Grizzly(版本)释放，OpenStack 计算将有一个存储伙伴，部署在有高需求的云计算环境，这将提高OpenStack在市场上的采用率。”

Scality并不孤单。Coraid公司也提供了ATA-over-以太网(AOE)和Coraid EtherCloud的驱动程序到OpenStack的Cinder块存储开源项目，所以OpenStackers可以使用其存储阵列作为块存储。全闪存 “云”存储阵列初创厂商SolidFire做了同样的事情，它现在已经参与了Cinder项目好几年。Coraid声称，传统的存储供应商如 NetApp、EMC、惠普和戴尔等在他们的OpenStack驱动程序中只完成了部分功能，而他们已经作为一个企业赞助商加入OpenStack社区。

针对OpenStack的RING通过向外扩展文件系统(SOFS)封装提供了一个POSIX文件接口。Scality叙述道：

Cinder整合是建立在Scality的嵌入在SOFS中分布式的稀疏文件技术。每个Cinder卷实际上是在Scality Scale-Out存储里面的一个文件。这确保了简便的管理、无缝的可扩展性，并提供了像在计算节点硬件故障的情况下，实时迁移虚拟机和即时故障转移这样的先进虚拟化功能。

Scality的产品战略总监Philippe Nicolas表示：“这个块存储接口完成了我们的统一存储战略。Scality是实际交付承诺的真实和完整的统一存储访问，包括对象、文件和块的第一批厂商之一。”