#
大數據學習過程中一個重要的環節就是spark，但是在spark中有很多的知識點，很多人都傻傻分不清楚，其中，最易搞混的就是ml與mllib的區別，所以我們不妨來詳細的了解一下二者的區別。 如果你
本節課通過代碼實戰演示RDD中最重要的兩個算子，join和cogroupjoin算子代碼實戰：//通過代碼演示join算子val conf = new SparkConf
本期內容：1 解密Spark Streaming運行機制2 解密Spark Streaming架構 一切不能進行實時流處理的數據都是無效的數據。在流處理時代，SparkStreaming有著強大吸引
Spark Streaming 支持實時數據流的可擴展(Scalable)、高吞吐(high-throughput)、容錯(fault-tolerant)的流處理(stream processing)
入門案例： object SparkSqlTest { def main(args: Array[String]): Unit = { //屏蔽多余的日志 Lo
本期內容： 1、ReceiverTracker的架構設計 2、消息循環系統 3、ReceiverTracker具體實現上節
本文將介紹在Mac os上搭建Spark開發環境。 在安裝spark環境之前，需要確保配置相應的java環境，jdk或者jre的版本需要在1.8.0版本以上。 (1)首先下載開發IDE，目前比較流行的
interllj IDEA是一個編譯環境IDE，有免費的社區版。百度可以下載，這里不贅述，有了編譯器需要安裝scala語言支持，見前面的博客。spark是一種類似多線程的結構，他的作用是將任務分發給多
一、Spark SQL簡介 Spark SQL 是 Spark 中的一個子模塊，主要用于操作結構化數據。它具有以下特點： 能夠將 SQL 查詢與 Spark 程序無縫混合，允許您使用 SQL 或 D
Spark Streaming寫數據到Redis參考2篇文章：1、Kafka+Spark Streaming+Redis實時系統實踐https://www.iteblog.com/archives/1
