登录
|
注册成为会员
奖励
中文
English
Français
Deutsch
Italiano
日本語
한국어
Português
Русский
Español
主页
网志
产品
储存
商业
安全
搜索
硬件
网络
软件
通讯
播放:
城市
玩具
雅虎搜索大规模地使用阿帕契 Hadoop
在雅虎 Hadoop 的博客里,你可以读到雅虎搜索的网页地图组他们是怎样用阿帕契 Hadoop 的分布式运算框架。 他们用了一万个
核心
中央
处理器
去建立地图和处理大量的数据。 到最后,去支持每一个搜索要求,他们要用超过五拍字节的
原始
磁碟
储存器,输出超过三百兆
压缩
数据。
职分所在,我访问了 Sameer 和 Arnab,了解一下关于网页地图的历史以及他们为什么要从原有的专有基础架构转成 Hadoop。 在访问其间,我的其中一个重点是,对 Hadoop 来说,这是一个很大的里程碑。 雅虎是大量(而且越来越多地)采用 Hadoop 来进行生产部署。 这不单是一个实验或是研究,这是有真资金的。 (不辛地,正当我们在讨论这一个很大地数字的时候,我们的影像拍摄出了一个技术上的问题。
就相艾力在他的发表中说:
网页地图的启动表示 Hadoop 有能力解决真正的
互联网
大小问题,而且能够可靠地在一个大规模的生产环境中运行。 我们现在可以说雅虎每个月数以亿计的
网上
搜索结果,大部分都是靠 Hadoop 集群生产出来的数据来为持的。
在我看来,似乎在 2008 和 2009, Hadoop 工程将会有很大的增长 - 而且不只在雅虎!
真的要密切留意。。。
会员反馈:
匿名