#
學習spark任何知識點之前，最好先正確理解spark，可以參考：正確理解spark一、序言 對于key-value類型RDD的兩個api， r
今年，實時流計算技術開始步入主流，各大廠都在不遺余力地試用新的流計算框架，實時流計算引擎和 API 諸如 Spark Streaming、Kafka Streaming、Beam 和 Flink 持續
??spark支持多種數據源，從總體來分分為兩大部分：文件系統和數據庫。 文件系統 ??文件系統主要有本地文件系統、Amazon S3、HDFS等。 ??文件系統中存儲的文件有多種存儲格式。spark
以下代碼用 Pyspark + IPython 完成統計日志空行的數量：讀取日志，創建RDD：myrdd = sc.textFile("access.log")不使用累加器：In&
提交消費kafka應用里面包含sasl.jaas.config，通常需要配置文件。但是打成jar包后的應用，通過classload讀不到jar包中配置文件。需要初始化kafka時增加propertie
學習hadoop已經有很長一段時間了，好像是二三月份的時候朋友給了一個國產Hadoop發行版下載地址，因為還是在學習階段就下載了一個三節點的學習版玩一下。在研究、學習hadoop的朋友可以去找一下看看
1 Spark版本 Spark 2.1.0。 2 說明 去年在網易之初，已經開發了一個完整的RPC框架，其中使用的核心技術也是Netty，所以當看到Spark的RPC框架時，并不覺得太陌生，關于個人開
這篇博客的目的是讓那些初次接觸sparkSQL框架的童鞋們，希望他們對sparkSQL整體框架有一個大致的了解，降低他們進入spark世界的門檻，避免他們在剛剛接觸sparkSQL時，不知所措，不知道
Spark SQL Join原理分析 1. Join問題綜述： Join有inner,leftouter,rightouter,fullouter,leftsemi,leftanti六種類型，對單獨版
1 前言以Java/Scala代碼通過設置開始時間和結束時間的方式來進行統計測試，其實不夠準確，最好的方式就是把Spark應用部署到集群中，通過觀察Spark UI的統計信息來獲取時間，這樣會更準備，
