#
搞Java開發的同學，目標都想成為Java架構師；搞大數據開發的同學，目標都想成為大數據架構師。 成為大數據架構師有什么好處呢？ 歸其原因： 1.技術上能達到一定的高度，被公司認可，也被社會認可，有成
一、Spark SQL與DataframeSpark SQL之所以是除Spark core以外最大和最受關注的組件的原因：a） 能處理一切存儲介質和各種格式的數據（你同時可以方便的擴展Spark SQ
==> 什么是 Spark ---> Spark 是一個針對大規模數據處理的快速通用引擎
spark支持的運行模式：本地模式、本地集群模式、standalone模式、yarn模式及mesos模式。 本地模式 local、local[N]或local[N,maxRetries]。主要用于代
16/03/04 00:21:09 WARN SparkContext: Using SPARK_MEM to set amount of memory to use per executor pro
我的Spark源碼核心SparkContext走讀全紀錄Dirver Program(SparkConf) package org.apache.spark.SparkConfMaster
實際開發過程中遇到了需要實現選擇性聚合的場景，即對于某一個key對應的數據，將滿足條件的記錄進行聚合，不滿足條件的則不進行聚合。 使用spark處理這種計算場景時，想到了使用combineByKey算
Linux命令 我是小白，我從來沒玩過Linux,請點這里： https://user-gold-cdn.xitu.io/2019/2/24/1691e1dda7807059 推薦的一個Git倉庫 我
Spark LDA 實例 一、準備數據 數據格式為：documents: RDD[(Long, Vector)]，其中：Long為文章ID，Vector為文章分詞后的詞向量； 通過分詞以及數據格式的轉
報錯一: 背景 啟動spark-shell后查詢hive中的表信息，報錯 $SPARK_HOME/bin/spark-shell spark.sql("select * from student.st
