注册 留言板
当前位置:首页 > 云计算/大数据 > Spark

Apache Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。
 

Spark LDA实战

Spark LDA实战

2017-08-14   作者:本站编辑    浏览次数:0   

选取了10个文档,其中4个来自于一篇论文,3篇来自于一篇新闻,3篇来自于另一篇新闻。 main函数: def main(args:Array[String]): Unit ={ // 连接MySQL数据库 case class Article(id:Int,article:Str

Spark内核架构深度剖析图

Spark内核架构深度剖析图

2017-08-14   作者:本站编辑    浏览次数:0   

Spark入门PPT分享

Spark入门PPT分享

2017-08-05   作者:本站编辑    浏览次数:3   

Spark Streaming笔记——技术点汇总

Spark Streaming笔记——技术点汇总

2017-08-05   作者:本站编辑    浏览次数:5   

目录 · 概况 · 原理 · API     · DStream     · WordCount示例     · Input DStream     · Transformation Operation     · Output Operation     · 缓存与持久化     · Checkp

maven编译spark源码(spark-2.3.0)

maven编译spark源码(spark-2.3.0)

2017-08-05   作者:high2011    浏览次数:1   

如何编译从Github上下载的Spark源码,然后使用Spark的Api? 本文将先介绍编译Spark最新源码的步骤,供参考。 一、环境准备 Centos-6.8 Scala-2.11.8 Jdk-1.8 Spark-2.3.0-SNAPSHOT(git clone https://github.c

生产环境部署Hadoop+Spark+HBase+Hue

生产环境部署Hadoop+Spark+HBase+Hue

2017-08-04   作者:bigcharsen    浏览次数:1   

大数据平台生产环境部署指南 @(Hadoop) 总结一下在生产环境部署hadoop+Spark+Hbase+Hue等产品遇到的问题、提高效率的方法和相关的配置。 集群规划 假设现在生产环境的信息如下: 服务器数量:6 操作系统:Centos7 Master节点数:2 Zookeeper节点数:3 S

Spark笔记——技术点汇总

Spark笔记——技术点汇总

2017-08-03   作者:本站编辑    浏览次数:3   

目录 · 概况 · 手工搭建集群     · 引言     · 安装Scala     · 配置文件     · 启动与测试 · 应用部署     · 部署架构     · 应用程序部署 · 核心原理     · RDD概念     · RDD核心组成     · RDD依赖关系     · DAG

./spark-shell: line 44: 6609 Killed

./spark-shell: line 44: 6609 Killed "${SPARK_HOME}"/bin/spark-submit --class

2017-08-01   作者:sinat_35045195    浏览次数:3   

./spark-shell: line 44: 6609 Killed "${SPARK_HOME}"/bin/spark-submit --class 今天一直遇到spark异常,从来没有见到过这种异常,百度搜索也总是搜索不到,只能一个一个改配置文件,我以前的配置文件是配置了 HADOOP_CON

spark和storm的对比

spark和storm的对比

2017-08-01   作者:sacred9    浏览次数:4   

对比点 Storm Spark Streaming 实时计算模型 纯实时,来一条数据,处理一条数据 准实时,对一个时间段内的数据收集起来,作为一个RDD,再处理 实时计算延迟度 毫秒级 秒级 吞吐量 低 高 事务机制 支持完善 支持,但不够完善 健壮性 / 容错性 ZooKeeper,Acker,非

spark-mongodb代码分析

spark-mongodb代码分析

2017-08-01   作者:crackwl    浏览次数:0   

源码的github地址https://github.com/mongodb/mongo-spark,是mongodb发布的spark connection接口库,可以方便的使用spark读写mongodb数据 1.rdd写入mongodb 两种方式将生成的rdd写入mongodb,事例代码: val

共778条记录 1/78页  首页 上一页 下一页 尾页  第
精彩专题
  • 本月排行
  • 总排行
友情链接:
QQ交流群:①群 155252576 INFOCOOL官方交流群 ②群 469193068 WEB前端技术交流群 ③群 531831996 数据库交流群 ④群 243504572 编程技术交流群
设为首页 - 加入收藏 Copyright @2016 Infocool 版权所有 粤ICP备16000626号