Hadoop、spark、hive的原理及其在金融領域的應用

首先百度百科了各個詞條的含義：

Hadoop

Hadoop是一個由Apache基金會所開發的分布式系統基礎架構。
用戶可以在不了解分布式底層細節的情況下，開發分布式程序。充分利用集群的威力進行高速運算和存儲。
[1] Hadoop實現了一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS。HDFS有高容錯性的特點，并且設計用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）來訪問應用程序的數據，適合那些有著超大數據集（large data set）的應用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問（streaming access）文件系統中的數據。

SPARK （Spark）  

Apache Spark 是專為大規模數據處理而設計的快速通用的計算引擎。Spark是UC Berkeley AMP lab (加州大學伯克利分校的AMP實驗室)所開源的類Hadoop MapReduce的通用并行框架，Spark，擁有Hadoop MapReduce所具有的優點；但不同于MapReduce的是——Job中間輸出結果可以保存在內存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數據挖掘與機器學習等需要迭代的MapReduce的算法。
Spark 是一種與 Hadoop 相似的開源集群計算環境，但是兩者之間還存在一些不同之處，這些有用的不同之處使 Spark 在某些工作負載方面表現得更加優越，換句話說，Spark 啟用了內存分布數據集，除了能夠提供交互式查詢外，它還可以優化迭代工作負載。
Spark 是在 Scala 語言中實現的，它將 Scala 用作其應用程序框架。與 Hadoop 不同，Spark 和 Scala 能夠緊密集成，其中的 Scala 可以像操作本地集合對象一樣輕松地操作分布式數據集。hive是基于Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射為一張數據庫表，并提供簡單的sql查詢功能，可以將sql語句轉換為MapReduce任務進行運行。 其優點是學習成本低，可以通過類SQL語句快速實現簡單的MapReduce統計，不必開發專門的MapReduce應用，十分適合數據倉庫的統計分析。

Hadoop

Hadoop是一個由Apache基金會所開發的分布式系統基礎架構。
用戶可以在不了解分布式底層細節的情況下，開發分布式程序。充分利用集群的威力進行高速運算和存儲。
[1] Hadoop實現了一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS。HDFS有高容錯性的特點，并且設計用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）來訪問應用程序的數據，適合那些有著超大數據集（large data set）的應用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問（streaming access）文件系統中的數據。

大數據對風控的幫助
大數據可以提供全面的多角度的數據，降低借款人的貸款的風險。

企業指標：宏觀指標，行業指標，企業指標，財務指標

個人指標：宏觀，行業，個人。

指標頻率：日，月，季，年
個人版風控系統查詢:

A個人收入

B銀行流水

C負債

D汽車折舊系數

E×××折現系數

企業版風控系統查詢

絕對指標

A資產總計

B負債總計

C營業總成本/營業總收入

D銷售毛利率

現金收益

E凈資產收益率ROE

F經營活動凈收益/利潤總額（TTM）

G經營性現金凈流量/營業總收入

H籌資活動產生的現金流量凈額占比

I投資活動產生的現金流量凈額占比

償債能力

J資產負債率

K有形資產/總資產

L權益乘數

M流動比率

N速動比率

營運能力

O存貨周轉率

P應收賬款周轉率

Q應付賬款周轉率

R凈資產（同比增長率）

S固定資產投資擴張率

T利潤總額/息稅前利潤

U股東權益合計/負債總計

V. EBITDA率%

風控流程

3.1業務流程

1.借款人進行咨詢；

2.填寫申請表和有關資料，提交給業務員；

3.業務員添加客戶至客戶室；

4.業務員為客戶發起授信申請，進入授信審核，審核成功后，借款人獲得授信額度。

5.業務員為借款人發起借款申請，進入借款審核，審核成功后，財務放款，借款成功.

3.2授信審核流程（貸前流程）

1.業務員為自己客戶發起授信申請；

2.業務主管進行初審，審核通過進入風控委員初審，駁回返回上級，拒絕的授信失敗；

3.風控委員進行初審；

4.風控主管進行復審；

5.貸審會進行審核；

6.總經理進行終審，審核通過，授信成功，借款人獲得授信額度。

3.3

借款審核流程（貸中流程）

1.借款人擁有一定的授信額度，業務員為借款人發起借款申請；

2.業務主管進行初審，審核通過進入風控委員初審，駁回返回上級，拒絕的授信失敗；

3.風控委員進行初審；

4.風控主管進行復審；

5.總經理進行終審；

6.審核通過的，財務放款，借款人借款成功。

3.4貸后流程

貸款到期，借款人還款。其中借款人可以提前還款，若到期未能還款，則有展期申請、強制結清、押品結清、押品處置、違約金法系處理。

借款人還清貸款，即可拿回抵押物品。

四。風險管理全面解決方案