大杂烩首页 > 大杂烩 > 五花八门 RRS

初识Apache Hadoop

发表时间:2016-11-29 11:49:51 点击:1215 回复:0

大数据培训

+关注 传呼
  • 使用道具

    醒目灯

    请选择要设置的颜色:

    大救生圈

    使用该道具可将帖子置顶到:

    大杂烩

    时效:6小时

    救生圈

    使用该道具可将帖子置顶到:

    大杂烩

    时效:30分钟

    月灵符

    请输入楼层数:

    照妖镜

    请输入楼层数:

    神圣之眼

    该道具可显示帖子内所有匿名用户,但仅使用者本人能看到:

    水婴之眼

    该道具可将帖子内的匿名发言用户恢复为正常显示昵称,并以红色醒目显示,为匿名终结者,且所有人都可以看到!

    幻灵九峰尽

    请输入回复置顶区的楼层数:

    匿名符

    请输入楼层数:

    使用
  • 只看楼主

#Hadoop交流#

Apache Hadoop是一套用于在由通用硬件构建的大型集群上运行应用程序的框架。它实现了Map/Reduce编程范型,计算任务会被分割成小块(多次)运行在不同的节点上。除此之外,它还提供了一款分布式文件系统(HDFS),数据被存储在计算节点上以提供极高的跨数据中心聚合带宽。下面编者对于Apache Hadoop进行详细介绍:

一、  什么是Apache Hadoop

1.    概念:用来存储、处理和分析大数据的开源框架。

2.    特点:分布式,可扩展并且容错

3.    使用成本:利用了产业标准硬件的能力,成本低。

4.    Apache Hadoop集群框架:

Batch processing

Search engine

Analytic SQL

Machine learning

Stream processing

Other applications

workload management

Data  storage

Data  integration

         二、关于Apache Hadoop的几个事实:

1.开源:Apache Hadoop本身是开源的

2. 大约十个公司的60多个committers:如cloudera,yahoo,facebook,apple等,对于Apache Hadoop发展有着重要作用。

3. 几百个编写特性和修复bug的贡献者

4. Apache Hadoop本身有很多项目、应用和工具等

   三、Hadoop生态:

   

  


四、供应商集成:

 

        五、了解发行版:

             1. Cloudera提供了CDH和Cloudera Manager

          (1)CDH (Cloudera’s Distribution including Apache Hadoop):100%开源,为企业准备的Hadoop和相关项目的发行版;集成了所有关键的Hadoop生态项目

        

             

              2. Hortonworks提供了HDP (HORTONW0RKS DATA PLATFORM)

               

                 3. Mapr:mapr 汇聚数据平台

                 

 

                     4.其他发行版:

        

    以上就是小编根据自己的实际经验为大家总结的Apache Hadoop基本知识,让大家对于Hadoop有一个基本的框架认识。在这里,也真诚建议大家平常多自主学习,无论是看一些大数据的书籍,还是关注一些大数据资讯,对于大家都是很有帮助和促进的。我个人在平时喜欢看大数据cn大数据学习中心这样的微信服务号,经常有一些大数据最前端的资讯和一些免费的资源,对于我个人而言,帮助还是蛮大的,大家平常也可以多积累一些这方面资源,多多分享交流,共同进步!

发表时间:2016-11-29 11:49:51

快速回复

发表回复

回复
楼主的其他的文章 more
  • 神回复
  • 我要发帖
  • 使用道具

    醒目灯

    请选择要设置的颜色:

    大救生圈

    使用该道具可将帖子置顶到:

    大杂烩

    时效:6小时

    救生圈

    使用该道具可将帖子置顶到:

    大杂烩

    时效:30分钟

    月灵符

    请输入楼层数:

    照妖镜

    请输入楼层数:

    神圣之眼

    该道具可显示帖子内所有匿名用户,但仅使用者本人能看到:

    水婴之眼

    该道具可将帖子内的匿名发言用户恢复为正常显示昵称,并以红色醒目显示,为匿名终结者,且所有人都可以看到!

    幻灵九峰尽

    请输入回复置顶区的楼层数:

    匿名符

    请输入楼层数:

    使用
  • 返回顶部