互聯網中Pig是什么

這篇文章給大家分享的是有關互聯網中Pig是什么的內容。小編覺得挺實用的，因此分享給大家做個參考，一起跟隨小編過來看看吧。

        Pig是一個基于Hadoop的大規模數據分析平臺，它提供的SQL-LIKE語言叫Pig    Latin，該語言的編譯器會把類SQL的數據分析請求轉換為一系列經過優化處理的MapReduce運算。Pig為復雜的海量數據并行計算提供了一個簡單的操作和編程接口。

        Pig特點:

            1、專注于大量數據分析(ad-hoc analysis,ad-hoc代表:a solution that has been custom designed for a specific problem).

            2、運行在集群的計算架構上，Yahoo Pig提供了多層抽象，簡化并行計算讓普通用戶使用；這些抽象完成自動把用戶請求queries翻譯成有效的并行評估計劃，然后在物理集群上執行這些計劃；

            3、提供類似SQL的操作語法；

            4、開放源代碼；

        關于Pig與Hive：

                對于開發人員，直接使用Java APIS可能是乏味或容易出錯的，同時也限制了Java程序員在Hadoop上編程的運用靈活性。于是Hadoop提供了2個解決方案，使得Hadoop編程變得更加容易。

                Pig是一種編程語言，它簡化了Hadoop常見的工作任務，Pig可加載數據、表達轉換數據以及存儲最終結果。Pig內置的操作使得半結構化數據變得有意義(如日志文件)，同時Pig可擴展使用Java中添加的自定義數據類型并支持數據轉換.

                Hive是Hadoop中扮演數據倉庫的角色.Hive添加數據的結構在HDFS(hive superimposes structure on data in HDFS)，并允許使用類似于SQL語法進行數據查詢，與Pig一樣，Hive的核心功能是可擴展的.

                Pig和Hive總是令人困惑的.Hive更適合于數據倉庫的任務，Hive主要用于靜態的結構以及需要經常分析的工作。Hive與SQL相識促使其成為Hadoop與其他BI工具結合的理想交集。Pig富裕開發人員在大數據集領域更多的靈活性，并允許開發簡潔的腳本用于轉換數據流以便嵌入到較大的應用程序。Pig相比Hive相對輕量，它主要的優勢是相比于直接使用Hadoop Java Apis可大幅消減代碼量。正因為如此，Pig仍然是吸引大量的軟件開發人員。

感謝各位的閱讀！關于“互聯網中Pig是什么”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，讓大家可以學到更多知識，如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！