注册 留言板
当前位置:首页 > 云计算/大数据 > Hadoop

Hadoop 是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有着高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streaming access)文件系统中的数据。
 

Hadoop学习笔记 --- 计算机中存储单位介绍

Hadoop学习笔记 --- 计算机中存储单位介绍

2017-02-23   作者:u012965373    浏览次数:0   

计算机存储单位一般用字节(Byte)、千字节(KB)、兆字节(MB)、吉字节(GB)、太字节(TB)、拍字节(PB)、艾字节(EB)、泽它字节(ZB,又称皆字节)、尧它字节(YB)表示。 它们之间的换算关系是: 1KB=1024B 1MB=1024KB 1GB=1024MB 1TB=1024GB 1

1.Hadoop初识

1.Hadoop初识

2017-02-23   作者:dream0352    浏览次数:0   

1.hadoop是什么 WhatIs Apache Hadoop? TheApache™ Hadoop® project develops open-source software for reliable, scalable,distributed computing. Hadoop是一种以可靠、

HBase学习笔记——入门简介

HBase学习笔记——入门简介

2017-02-23   作者:qq280929090    浏览次数:1   

一、HBase是什么? HBase(Hadoop database)是一种构建在HDFS之上的分布式、面向列的和提供高可靠性、高性能、可伸缩、实时读写的开源数据库系统,在需要实时读写、随机访问超大规模数据集时,可以使用HBase。 HBase是Apache的Hadoop项目的子项目,该技术来源于 F

Hadoop API介绍

Hadoop API介绍

2017-02-22   作者:wzx19840423    浏览次数:0   

Hadoop Secondarynamenode原理分析

Hadoop Secondarynamenode原理分析

2017-02-22   作者:shilonggang000    浏览次数:0   

namenode的文件存储     namenode数据存储分为两个文件,fsimage与edits文件,edits文件记录了所有namenode的操作,相当于日志记录。fsimage记录了namenode的数据。在namenode启动时,会加载fsimage的数据到内存中,并从edits文件中解析

虚拟机centos下找不到共享文件夹

虚拟机centos下找不到共享文件夹

2017-02-22   作者:roodyszz2013    浏览次数:0   

贡献文件夹后在centos /mnt目录下存在hgfs文件夹,但文件夹内容为空 参考文章资料说需要挂载,于是执行: 一、安装VMWare tools 首先在vm虚拟机菜单栏找到 虚拟机->安装VMware Tools。把文件挂载到Linux上,然后重启一下Linux。 重启完在 /dev/目录下有一

hadoop 常用端口记录

hadoop 常用端口记录

2017-02-21   作者:qq_22478923    浏览次数:0   

端口 用途 9000 fs.defaultFS,如:hdfs://172.25.40.171:9000 9001 dfs.namenode.rpc-address,DataNode会连接这个端口 50070 dfs.namenode.http-address 50470 dfs.namenode.h

Giraph的一些背景介绍

Giraph的一些背景介绍

2017-02-21   作者:wjlwangluo    浏览次数:1   

开源项目Giraph的支持者或许都知道,Facebook在开发图谱搜索(Graph Search)服务时,选择采用了Giraph,并开始了对此项开源技术的研究。Facebook将Giraph规模化并作为其Open Graph工具的核心,用来处理数万亿次用户及其行为之间的连接。 Giraph的起源 据

hadoop入门简介

hadoop入门简介

2017-02-21   作者:jasonhui512    浏览次数:1   

hadoop官网简介: What Is Apache Hadoop? The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing. The Apache

YARN运行机制

YARN运行机制

2017-02-20   作者:huahai_nb    浏览次数:0   

以下图片文字摘自《Hadoop大数据从入门到精通》CSDN学院视频 总结: 1.yarn只响应job的运行分配资源,yarn不参与job的具体运行机制和流程 2.mapreduce程序中有一个进程叫MrAppmaster来负责程序的具体运行流程控制 3.由于yarn不参与用户程序的具体运行,所以ya

共374条记录 1/38页  首页 上一页 下一页 尾页  第
精彩专题
友情链接:
设为首页 - 加入收藏 Copyright @2016 Infocool 版权所有 粤ICP备16000626号