#
一、Spark運行時架構：Spark分布式結構采取 主/從 結構模式。主是驅動器(Driver)節點，這個節點負責中央協調，調度各個工作(執行器executor)節點。從是執行器(executor)節
[TOC] 加載保存功能 數據加載（json文件、jdbc）與保存（json、jdbc） 測試代碼如下： package cn.xpleaf.bigdata.spark.scala.sql.p1
本期內容技術實現解析實現實戰SparkStreaming的DStream提供了一個dstream.foreachRDD方法，該方法是一個功能強大的原始的API，它允許將數據發送到外部系統。然而,重要的
在MapReduce中shuffle和Spark的shuffle的過程有一些區別。這里做一下具體的介紹。Mapreduce的shuffle過程圖解Spark shuffle過程圖解注意:spark s
blockManager Driver和executor上分別都會啟動blockManager，其中driver上擁有所有executor上的blockManager的引用；所有executor上
前言 在之前的大數據學習系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 中介紹了集群的環境搭建，但是在使用hive進行數據查詢的時候會非常的慢，因為h
spark是Apache開源社區的一個分布式計算引擎，基于內存計算，所以速度要快于hadoop.下載地址spark.apache.org安裝復制一臺單獨的虛擬機，名c修改其ip，192.168.56.
甲方和乙方的數據科學家都要用各種界面化工具來做數據科學家的工作，所以，我們從zeppelin搞到了jupyterlab，再從lab整到了hub。對于甲方數據科學家的編程水平，實在是無法恭維卻還要硬著頭
之前項目中用到了累加器，這里做個小結。
Spark 官方網站使用如下簡潔的語言描述了Spark我們可以從中提取出如下信息：Spark是一個引擎快速通用Spark可以用來處理數據數據是大規模的Spark本身并不提供數據存儲能力，它只是一個計算
