查看完整版本: IBM实现43分钟内扫描100亿文件[1P]

IBM实现43分钟内扫描100亿文件[1P]

[img]http://www.upload3r.com/serve/250711/1311574597.jpg[/img]

北京时间7月24日消息，据国外媒体报道，为了帮助将来需要处理大量数据的企业用户，IBM的研究者设计出了一种超快速的存储系统，这种系统能够在43分钟内扫描100亿个文件。
这个存储系统明显优于IBM 2007年演示的系统。早在美国2007年超级计算机大会（Supercomputing 2007）上，IBM就推出了一个存储系统，它能够在3个小时内扫描10亿个文件。这个存储系统的性能得以改善的关键原因是，它使用了高速闪存来保存存储系统用来寻找所需信息的元数据。传统上，元数据就存储在普通硬盘上，访问这些数据就会降低存储系统的整体运行速度。“如果我们把这些数据存储在高速存储器上，那么我们就能更加快速地处理我们的任务。”IBM 阿尔马登研究中心的存储系统负责人布鲁斯-希斯伯格(Bruce Hillsberg)说，“相对于在普通硬盘上存储元数据来说，利用固态存储器存储元数据确实能够极大地提高我们执行管理任务的速度。”

IBM预计，在未来几年内，它的客户将需要处理比现在多得多的信息。“由于我们的客户需要存储和处理较长时期的大量数据，因此，他们就需要高效地管理这些数据。”希斯伯格说。

在新演示的存储系统中，IBM建立了10个八核服务器，装备了总共6.8兆兆字节的固态存储器。IBM使用了4款Violin Memory公司的3205固态存储系统。最终组建好的存储系统能够以大约5 GB/s的速度阅读文件。希斯伯格称，这个系统还使用了IBM 3.4版本的通用并行文件系统（GPFS），并进行了相应的调整。这款GPFS系统最初是为高性能计算系统设计的，现在也越来越适用于帮助数据量大的企业处理庞大的工作量。GPFS系统允许所有的处理器核心并行在硬盘上读写数据，从而极大地提高了存储系统的反应速度。

希斯伯格解释说，现在的文件系统并不太适合于管理多个存储系统上的数据。2007年超级计算大会上演示的存储系统表明，像GPFS这样的并行文件系统能够作为存储系统升级的基础。而现在演示的存储系统则证明，像这样的系统再配上固态硬盘，就能进一步提高存储系统的性能。

IBM的研究者还发布了一份白皮书，其中较为详细地描述了这个系统的基本架构，能帮助第三方企业建立类似的系统。IBM还把这些创意植入到了它自己的产品中，希斯伯格说。早前IBM实施的建立实验性固态系统的研究工作，也帮助它创造出了新的软件，例如IBM Easy Tier，它能帮助系统自动地平衡固态硬盘和普通硬盘之间的数据。“我想，你将会从这项研究中看到一些非常有意思的东西。”希斯伯格提到这次演示活动时说。

IBM并不是唯一一个用固态存储器来提高系统运行速度的公司。在美国计算机协会（Association for Computing Machinery）本月的通讯上，来自卡内基梅隆大学和英特尔实验室的一组研究人员描述了一种整合有低能耗处理器和闪存存储器的服务器架构，这种设计能够极大地提高交易量巨大的大型网站的运行速度。

与IBM的架构类似，这组研究人员推出的名为Fast Array of Wimpy Nodes（简称FAWN）的架构只需要有极少量的闪存存储器，把访问频率最高的数据存储在上面即可。他们指出，尽管固态存储器的价格可能是传统硬盘的10倍，但是它们能把整个存储系统的性能提高一倍。

用闪存存储器协助建立服务器的想法“并不久，但是这种技术已经存在了。”谷歌著名工程师、参与FAWN架构设计的鲁伊兹-安德鲁-巴罗索（Luiz André Barroso）说。

希望这种技术能尽快应用于普通电子商品，造福于普通的消费者。

我电脑全盘杀毒啊，要一个多小时，现在要接近三个小时，什么时候可以用上这种速度啊。希望以后杀毒都是一分钟以内的事情啦。哈哈

用的固态存储器 速度提升是必然的 另外说到的文件大小也没有提及吧 这个可是很重要的

性能很强，不过对我来说没多大意义，我又没有那么多文件咯

这种东西即使能推进市场，肯定也贵得要死，而且寿命很怀疑

不就是说用内存来存文件吗，这样估计速度是上去了，稳定性值得怀疑

这种技术对未来服务器技术的发展影响比较大比较适合需要大型数据库的企业加快文件检索的速度ibm在这方面的前瞻性研究还是不错的。

全世界的信息量呈爆發式的增加，這個技術有助於分析信息有用與否。100億確實也有點太誇張的，IBM不愧是世界第一

真的假的，国产化的IBM现在还行吗，我现在买的IBM的本子真的很难用，散热也不好了。

*** 作者被禁止或删除 内容自动屏蔽 ***

这个估计只能公司用用，普通的老百姓运用不太现实，不知道什么时候才有可能。

惊人的速度啊，对于处理大型文件的工作来说，扫描成了一件不用等待的事情！

听着这数据真有点感觉是天方夜谭，如果是真的。IBM也太牛逼了。这桩数据处理速度不应该光是硬件的原因还有软件的支持。IBM虽然价格高，但质量好服务好。我有体会。