注册 留言板
当前位置:首页 > 云计算/大数据 > Hadoop

Hadoop 是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。
 

hadoop2.6.0 日志

hadoop2.6.0 日志

2017-01-25   作者:chenhongqian    浏览次数:0   

学习演练Hadoop 2.6有一段日子了。现在才大致搞清楚了系统里面各个log的位置和功能,在这里总结一下。网上的资料并不丰富,甚至Google出来的结果也不是很满意,或许这个是太简单了,牛人都不屑来写。也可能是各个公司藏着掖着的东西。 Hadoop 2.6包含两个大部分:DFS和Yarn,而Yar

InstantiationException in hadoop map reduce program

InstantiationException in hadoop map reduce program

2017-01-25   作者:bitcarmanlee    浏览次数:0   

在MR代码中有多路输入。代码提交到集群以后,log爆出如下异常: Exception in thread "main" java.lang.RuntimeException: java.lang.InstantiationException at org.apache.hadoop.

Hadoop学习:HDFS和MapReduce

Hadoop学习:HDFS和MapReduce

2017-01-24   作者:Totoro1745    浏览次数:0   

记得曾经问过一个师兄一个问题:要学好一种编程语言怎么做才好,怎样才能像你一样灵活运用?他跟我说:从头学到尾是很不切实际的,要边做项目边学是最快的~今天才真正体会这句话,趁着做项目,也接触了Hadoop,也对它有了初步的了解~ 关于Hadoop Hadoop是一个由Apache基金会所开发的分布式系统

Hadoop2.5.2学习04--HDFS原理及操作

Hadoop2.5.2学习04--HDFS原理及操作

2017-01-24   作者:wuxintdrh    浏览次数:0   

1、HDFS架构 如上图:HDFS是master和slave架构, 主要包含NameNode、DataNode, Secondary NameNode三种角色。 NameNode: 管理HDFS的名称空间和数据块映射信息、配置副本策略和处理客户端请求; Secondar NameNode: 辅助Na

数据迁移工具Sqoop1的使用(基础篇)

数据迁移工具Sqoop1的使用(基础篇)

2017-01-24   作者:zy_zhengyang    浏览次数:0   

原文链接 : http://blog.csdn.net/yfkiss/article/details/8700480 目录(?)[-] 概述 安装 工具 Import Export 其它 reference 概述 sqoop是Apache顶级项目,主要用来在Hadoop和关系数据库中传递数据。通过s

【Hadoop大数据分析与挖掘实战】(一)----------P19~22

【Hadoop大数据分析与挖掘实战】(一)----------P19~22

2017-01-21   作者:本站编辑    浏览次数:0   

  这是一本书的名字,叫做【Hadoop大数据分析与挖掘实战】,我从2017.1开始学习   软件版本为Centos6.4 64bit,VMware,Hadoop2.6.0,JDK1.7.   但是这本书的出版时间为2016.1,待到我2017.1使用时,一部分内容已经发生了翻天覆地的变化。   于

hadoop task的执行

hadoop task的执行

2017-01-21   作者:u012307002    浏览次数:0   

一旦resource manager’s scheduler给一个任务分配了资源,application master就会启动这个task所在的container。task就是一个类名为YarnChild的java程序。在task运行之前,task运行所需的配置文件,jar文件等都会被复制到task

hadoop自带示例wordcount

hadoop自带示例wordcount

2017-01-19   作者:xiakexiaohu    浏览次数:0   

1.首先确认你的hadoop启动了。 master与slave启动方式相同,进入hadoop目录下的sbin目录,命令:$cd /home/hadoop/hadoop/sbin (根据个人安装的hadoop目录调整) 启动hadoop:(1)$./start-dfs.sh (2)$./start-y

IntelliJ IDEA 运行Hadoop2.7.0 wordcount 实例

IntelliJ IDEA 运行Hadoop2.7.0 wordcount 实例

2017-01-19   作者:u011672579    浏览次数:0   

IntelliJ IDEA 运行Hadoop2.7.0 wordcount 实例 背景        Hadoop2.7.0在虚拟机上安装完成,core-site.xml中配置的fs.defaultFS 端口为9000。 1 新建maven项目 2 配置pom.xml 由于我虚拟机中的Hadoop版

Hadoop2.5.2学习01--mapreduce统计单词数

Hadoop2.5.2学习01--mapreduce统计单词数

2017-01-19   作者:wuxintdrh    浏览次数:0   

本文将介绍使用mapreduce统计单词 Mapper类: package com.chb; import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Long

共304条记录 1/31页  首页 上一页 下一页 尾页  第
精彩专题
友情链接:
设为首页 - 加入收藏 Copyright @2016 Infocool 版权所有 粤ICP备16000626号