18143453325 在线咨询 在线咨询
18143453325 在线咨询
所在位置: 首页 > 营销资讯 > 行业动态 > 问:Hadoop是现今最流行的大数据技术,在它出现的当时,是什么造成了Hadoop的流

问:Hadoop是现今最流行的大数据技术,在它出现的当时,是什么造成了Hadoop的流

时间:2022-02-20 16:18:01 | 来源:行业动态

时间:2022-02-20 16:18:01 来源:行业动态

要看Hadoop从哪里开始,就不得不提Google的先进性。在10多年前,Google发表了3篇论文论述分布式系统的做法,分别是GFS、MapReduce、BigTable。虽然都是很厉害的系统,但没人见过。在工业界很多人痒痒得就想按其思想去仿作。当时Apache Nutch Lucene的作者Doug Cutting也是其中之一。后来Doug他们被Yahoo收购,专门成立Team来投入研究,这就是Hadoop开始和大规模发展的地方。之后随着Yahoo的衰落,牛人去了Facebook、 Google,也有的成立了Cloudera、Hortonworks等大数据公司,把Hadoop的实践带到各个硅谷公司。而Google还没有停止,又出了新的三辆马车,Pregel、Caffeine、Dremel,后来又有很多人步入后尘,开始了新一轮开源大战。

为啥Hadoop就比较适合做大数据呢?首先扩展性很好,直接通过加节点就可以把系统能力提高。Hadoop有个重要思想就是移动计算而不是移动数据,因为数据的移动会带来很大的成本,需要网络带宽。其次,Hadoop提出的目标就是利用廉价的普通计算机(硬盘),这样虽然可能不稳定(磁盘坏的几率),但通过系统级别上的容错和冗余达到高可靠性。并且非常灵活,可以使用各种数据,二进制、文档型、记录型,也可以使用各种形式,结构化、半结构化、非结构化(所谓的schemaless),在按需计算上也是个技巧。

关键词:流行,数据,现今

74
73
25
news

版权所有© 亿企邦 1997-2022 保留一切法律许可权利。

为了最佳展示效果,本站不支持IE9及以下版本的浏览器,建议您使用谷歌Chrome浏览器。 点击下载Chrome浏览器
关闭