奖励
播放: 城市 玩具 TechCzar.com

雅虎搜索大规模地使用阿帕契 Hadoop
在雅虎 Hadoop 的博客里,你可以读到雅虎搜索的网页地图组他们是怎样用阿帕契 Hadoop 的分布式运算框架。 他们用了一万个核心中央处理器去建立地图和处理大量的数据。 到最后,去支持每一个搜索要求,他们要用超过五拍字节的原始磁碟储存器,输出超过三百兆压缩数据。

职分所在,我访问了 Sameer 和 Arnab,了解一下关于网页地图的历史以及他们为什么要从原有的专有基础架构转成 Hadoop。 在访问其间,我的其中一个重点是,对 Hadoop 来说,这是一个很大的里程碑。 雅虎是大量(而且越来越多地)采用 Hadoop 来进行生产部署。 这不单是一个实验或是研究,这是有真资金的。 (不辛地,正当我们在讨论这一个很大地数字的时候,我们的影像拍摄出了一个技术上的问题。

就相艾力在他的发表中说:

网页地图的启动表示 Hadoop 有能力解决真正的互联网大小问题,而且能够可靠地在一个大规模的生产环境中运行。 我们现在可以说雅虎每个月数以亿计的网上搜索结果,大部分都是靠 Hadoop 集群生产出来的数据来为持的。

在我看来,似乎在 2008 和 2009, Hadoop 工程将会有很大的增长 - 而且不只在雅虎!

真的要密切留意。。。
会员反馈:
TechCzar.com TechCzar.com
TechCzar.com - TechCzar.com

TechCzar.com - TechCzar.com
TechCzar.com