注册 留言板
当前位置:首页 > 云计算/大数据 > Hadoop

Hadoop 是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。
 

HDFS无法删除或创建文件

HDFS无法删除或创建文件

2017-04-29   作者:zhongxiayimeng    浏览次数:0   

hadoop报错ConnectionRefused

hadoop报错ConnectionRefused

2017-04-29   作者:lovelovelovelovelo    浏览次数:0   

执行hadoop fs -ls时 报错: ls: Call From SERVER226/10.0.0.226 to SERVER226:9000 failed on connection exception: java.net.ConnectException: Connection refuse

Hadoop 中context.collect 和 context.write的区别

Hadoop 中context.collect 和 context.write的区别

2017-04-29   作者:u010043538    浏览次数:0   

Mark 写MapReduce时,发现很多源码都是写 context.collect 而不是context.write,查阅资料,得到以下结论 老版本是: output.collect(key, result); // output’s type is: OutputCollector 新版本是:

Hadoop 中context.collect 和 context.write的区别

Hadoop 中context.collect 和 context.write的区别

2017-04-29   作者:u010043538    浏览次数:0   

Mark 写MapReduce时,发现很多源码都是写 context.collect 而不是context.write,查阅资料,得到以下结论 老版本是: output.collect(key, result); // output’s type is: OutputCollector 新版本是:

Hadoop的HA集群启动和停止流程

Hadoop的HA集群启动和停止流程

2017-04-28   作者:Happy_wu    浏览次数:0   

转载自:http://www.cnblogs.com/jun1019/p/6240770.html 假设我们有3台虚拟机,主机名分别是hadoop01、hadoop02和hadoop03。 这3台虚拟机的Hadoop的HA集群部署计划如下:      3台虚拟机的Hadoop的HA集群部署计划

elipse远程连接hadoop

elipse远程连接hadoop

2017-04-28   作者:本站编辑    浏览次数:0   

【注】关闭window的防火墙 1. 安装开发hadoop插件   将hadoop安装包hadoop-eclipse-plugin-2.7.3拷贝到eclipse的插件目录plugins下。   插件百度云地址:http://pan.baidu.com/s/1dEXywz3   重启eclipse,

hadoop fs -mkdir input 报错: No such file or directory

hadoop fs -mkdir input 报错: No such file or directory

2017-04-28   作者:play_chess_ITmanito    浏览次数:0   

[root@h1 bin]# hadoop fs -mkdir input 17/04/25 00:30:39 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using buil

Hadoop className (Error: Could not find or load main class XXXX)

Hadoop className (Error: Could not find or load main class XXXX)

2017-04-27   作者:fly_leopard    浏览次数:0   

         已安装的Hadoop机器上运行Hadoop className命令          Error: Could not find or load main class ListStatus          对于写好的包含main方法的java文件,将class编译文件放到服务器上

Hadoop:Rack Awareness

Hadoop:Rack Awareness

2017-04-26   作者:本站编辑    浏览次数:0   

         副本的放置对HDFS可靠性和性能至关重要。 优化副本放置HDFS有别于其他大多数分布式文件系统。 这是一个功能,需要大量的调优和经验。 基于机架感知(rack awareness)的副本放置策略的目的是为了提高数据可靠性、可用性和网络带宽的利用率。 当前实现的副本放置策略是第一次在

Hadoop2.x 让你真正明白yarn

Hadoop2.x 让你真正明白yarn

2017-04-26   作者:yu757371316    浏览次数:0   

问题导读 1.hadoop1.x中mapreduce框架与yarn有什么共同点? 2.它们有什么不同点? 3.yarn中有哪些改变? 4.yarn中有哪些术语? 原文:Hadoop2.x 让你真正明白yarn   yarn是比较难懂的一个地方,也是很重要的一个组件,不止hadoop使用yarn,sp

共519条记录 1/52页  首页 上一页 下一页 尾页  第
精彩专题
友情链接:
设为首页 - 加入收藏 Copyright @2016 Infocool 版权所有 粤ICP备16000626号