注册 留言板
当前位置:首页 > 云计算/大数据 > Hadoop

Hadoop 是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。
 

CDH集群环境要求

CDH集群环境要求

2017-08-24   作者:u011594486    浏览次数:0   

CDH 5.x 集群 CDH 5.X 集群如下图所示: 由于集群使用yarn的高可用机制,一般选择奇数台主机,所以,最小集群主机数要求应为3台。 根据 CDH 官网提供的虚拟机运行版本,可以看到,Cloudera Express 版本,虚拟机最低单机运行的内存不能低于 8 GB 。 Cloudera

mapreduce.job运行报错

mapreduce.job运行报错

2017-08-24   作者:zitong0513    浏览次数:0   

最近学习hadoop,经典案例wordcount运行报错。异常如下: org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:mapreduce_shuffle does not exist 17/08

2017hadoop大数据工程师基础进阶实战全套

2017hadoop大数据工程师基础进阶实战全套

2017-08-24   作者:wangjunhui    浏览次数:0   

Hadoop2.7.3 + HA(使用QJM方式) + yarn高可用 + Hbase1.3.1

Hadoop2.7.3 + HA(使用QJM方式) + yarn高可用 + Hbase1.3.1

2017-08-23   作者:本站编辑    浏览次数:0   

hadoop standalone install

hadoop standalone install

2017-08-19   作者:qq_26182553    浏览次数:0   

1. download hadoop-2.6.5.tar.gz, upload hadoop-2.6.5.tar.gz to centos folder /usr/local 2. decompress tar file and config paths cd /usr/local tar -zxv

按装hadoop

按装hadoop

2017-08-18   作者:qq_26182553    浏览次数:0   

1. download hadoop-2.6.5.tar.gz, upload hadoop-2.6.5.tar.gz to centos folder /usr/local 2. decompress tar file and config paths cd /usr/local tar -zxv

Hadoop NameNode 高可用 (High Availability) 实现解析

Hadoop NameNode 高可用 (High Availability) 实现解析

2017-08-18   作者:jiangshouzhuang    浏览次数:0   

分享一篇对NameNode HA总结的不错的文章 NameNode 高可用整体架构概述 在 Hadoop 1.0 时代,Hadoop 的两大核心组件 HDFS NameNode 和 JobTracker 都存在着单点问题,这其中以 NameNode 的单点问题尤为严重。因为 NameNode 保存了

ssh免密登录的一些坑

ssh免密登录的一些坑

2017-08-02   作者:sacred9    浏览次数:0   

搭建hadoop集群时配置ssh免密登录遇到一些坑,三台机器master,slave1,slave2 在三台机器上分别创建hadoop账户,随后su hadoop 1. ssh-keygen 生成id_rsa及id_rsa.pub文件 2. scp authorized_keys (目标登录用户名)

Hadoop MultipleInputs.addInputPath 读取多个路径

Hadoop MultipleInputs.addInputPath 读取多个路径

2017-08-02   作者:T1DMzks    浏览次数:1   

MultipleInputs.addInputPath 作用 可以指定多个输入路径,每个路径都可以指定相应的map方法 使用方法 MultipleInputs.addInputPath (Job job, Path path, Class<? extends InputFormat> inputFo

浅谈hadoop个组件

浅谈hadoop个组件

2017-08-01   作者:sitan3216    浏览次数:1   

分布式存储和分布式计算渗透在Hadoop框架的各个方面,运行Hadoop就相当于运行多个守护线程或者本地程序在同一网络不同的服务器上,这些线程扮演着不同的角色,一些会在一个服务器上,一些会存在不同的服务器上,这些线程主要包括namenode,datanode,secondary namenode,r

共723条记录 1/73页  首页 上一页 下一页 尾页  第
精彩专题
  • 本月排行
  • 总排行
友情链接:
QQ交流群:①群 155252576 INFOCOOL官方交流群 ②群 469193068 WEB前端技术交流群 ③群 531831996 数据库交流群 ④群 243504572 编程技术交流群
设为首页 - 加入收藏 Copyright @2016 Infocool 版权所有 粤ICP备16000626号