注册 留言板
当前位置:首页 > 云计算/大数据 > Hadoop

Hadoop 是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。
 

HADOOP框架的理解

HADOOP框架的理解

2017-03-27   作者:wjlwangluo    浏览次数:0   

Hadoop框架透明地为应用提供可靠性和数据移动。它实现了名为MapReduce的编程范式:应用程序被分割成许多小部分,而每个部分都能在集群中的任意节点上执行或重新执行。此外,Hadoop还提供了分布式文件系统,用以存储所有计算节点的数据,这为整个集群带来了非常高的带宽。MapReduce和分布式文

mapreduce代码整理之简单的kmeans聚类

mapreduce代码整理之简单的kmeans聚类

2017-03-27   作者:qq_35488275    浏览次数:0   

我们的目标是将如下坐标点分成两类,可以很清楚地看到这个数据可以很明确的分为两类。要分类的数据在kmeans.txt里,初始中心在cluster.center.conf.txt里,把这两个文件都上传到hdfs中。 Utils.java import java.io.IOException; impor

Namenode HA原理详解(脑裂)

Namenode HA原理详解(脑裂)

2017-03-27   作者:hujutaoseu    浏览次数:0   

为什么要Namenode HA? 1. NameNode High Availability即高可用。 2. NameNode 很重要,挂掉会导致存储停止服务,无法进行数据的读写,基于此NameNode的计算(MR,Hive等)也无法完成。   Namenode HA 如何实现,关键技术难题是什么?

hadoopAPI之LineReader类

hadoopAPI之LineReader类

2017-03-26   作者:qq_35488275    浏览次数:0   

在keams算法代码里发现其中用了一个LineReader类中的readline方法故查看api 代码中用了第三个方法创建了一个lineReader实例在调用lineReader实例的readline(String)方法把输入流fsis中的一行写入到Text型的line中 返回一个int型如果大于零

hadoop基本知识

hadoop基本知识

2017-03-26   作者:xupeng874395012    浏览次数:0   

服务的基本的启动方法 sbin/start-all.sh 关闭方法 sbin/stop-all.sh 历史记录的启动方法 sbin/mr-jobhistory-daemon.sh start historyserver 异常记录和解决方案 Exception in thread "main" org

Mapreduce 数据处理过程简介

Mapreduce 数据处理过程简介

2017-03-25   作者:c13232906050    浏览次数:0   

前言 本文用到key相关的排序知识,需要了解请转移到上一篇文章。 Mapreduce数据处理过程 1. Mapper map() 每运行一次map()方法,就会调用一个Partitioner的getPartition()方法;两个方法交替运行,直到该Mapper的输入数据被处理完。 所有输入数据都经

sqoop常用命令整理

sqoop常用命令整理

2017-03-25   作者:leehbing    浏览次数:0   

1、列出mysql数据库中的所有数据库  sqoop list-databases --connect jdbc:mysql://localhost:3306/ -username root -password 000000 2、连接mysql并列出数据库中的表 sqoop list-tables

MapReduce Key排序原理

MapReduce Key排序原理

2017-03-25   作者:c13232906050    浏览次数:0   

如何写一个属于自己的数据类型(Writable) 疑问一 IntWritable, LongWritable, Text和Java的int, long, String有什么区别? 答:数据在集群中传输时,xxWritable转化成字节流(byte[])进行传输,具体方法为接口Writable的wri

hadoop学习总结

hadoop学习总结

2017-03-25   作者:leprovision    浏览次数:0   

1、hdfs 分布式文件系统     namenode 分布式文件管理系统的老大,管理着元数据     datanode 存储文件块,默认是128M     secondarynamenode 定期合并namenode上的元数据文件(主要是合并fsimage,通过叫edits的日志文件) 2、map

HDFS通信协议(一)

HDFS通信协议(一)

2017-03-25   作者:renaissance_joker    浏览次数:0   

Hadoop RPC接口 HDFS通信协议抽象了HDFS各个节点之间的调用接口,这一篇文章只是简要介绍下HDFS RPC有哪些接口,具体有下面文章一一概述 Hadoop RPC调用时基于Protobuf实现的。Hadoop RPC接口主要定义在org.apache.hadoop.hdfs.proto

共478条记录 1/48页  首页 上一页 下一页 尾页  第
精彩专题
友情链接:
设为首页 - 加入收藏 Copyright @2016 Infocool 版权所有 粤ICP备16000626号