第1章　初識Pig

1.1　Pig是什么？

1.1.1　Pig是基于Hadoop的

1.1.2　Pig Latin，一種并行數據流語言

1.1.3　Pig的用途

1.1.4　Pig的設計思想

1.2　Pig發展簡史

第2章　安裝和運行Pig

2.1　下載和安裝Pig

2.1.1　從Apache下載Pig軟件包

2.1.2　從Cloudera下載Pig

2.1.3　使用Maven下載Pig

2.1.4　下載Pig源碼

2.2　運行Pig

2.2.1　本地單機運行Pig

2.2.2　在Hadoop集群上運行Pig

2.2.3　在云服務上運行Pig

2.2.4　命令行使用以及配置選項介紹

2.2.5　返回碼

第3章　命令行交互工具Grunt

3.1　在Grunt中輸入Pig Latin腳本

3.2　在Grunt中使用HDFS命令

3.3　在Grunt中控制Pig

第4章　Pig數據模型

4.1　數據類型

4.1.1　基本類型

4.1.2　復雜類型

4.1.3　NULL值

4.2　模式

第5章　Pig Latin介紹

5.1　基礎知識

5.1.1　大小寫敏感

5.1.2　注釋

5.2　輸入和輸出

5.2.1　加載

5.2.2　存儲

5.2.3　輸出

5.3　關系操作

5.3.1　foreach

5.3.2　Filter

5.3.3　Group

5.3.4　Order by

5.3.5　Distinct

5.3.6　Join

5.3.7　Limit

5.3.8　Sample

5.3.9　Parallel

5.4　用戶自定義函數UDF

5.4.1　注冊UDF

5.4.2　define命令和UDF

5.4.3　調用靜態Java函數

第6章　Pig Latin高級應用

6.1　高級關系操作

6.1.1　foreach的高級功能

6.1.2　使用不同的Join實現方法

6.1.3　cogroup

6.1.4　union

6.1.5　cross

6.2　在Pig中集成遺留代碼和MapReduce程序

6.2.1　stream

6.2.2　mapreduce

6.3　非線性數據流

6.4　執行過程控制

6.4.1　set

6.4.2　設置分割器

6.5　Pig Latin預處理器

6.5.1　參數傳入

6.5.2　宏

6.5.3　包含其他的Pig Latin腳本

第7章　開發和測試Pig Latin腳本

7.1　開發工具

7.1.1　語法高亮和語法檢查

7.1.2　describe

7.1.3　explain

7.1.4　illustrate

7.1.5　Pig統計信息

7.1.6　MapReduce任務運行狀態信息

7.1.7　調試技巧

7.2　使用PigUnit測試用戶的腳本

第8章　讓Pig飛起來

8.1　編寫優質的腳本

8.1.1　盡早地并經常地進行過濾

8.1.2　盡早地并經常地進行映射

8.1.3　正確并合理使用join

8.1.4　適當的情況下使用multiquery

8.1.5　選擇正確的數據類型

8.1.6　選擇合適的并行值

8.2　編寫優質的UDF

8.3　調整Pig和Hadoop

8.4　對計算中間結果進行壓縮

8.5　數據層優化

8.6　垃圾數據處理

第9章　在Python中嵌入Pig Latin腳本

9.1　編譯

9.2　綁定

9.3　運行

9.4　工具方法

第10章　編寫評估函數和過濾函數

10.1　使用Java編寫評估函數

10.1.1　UDF將在哪里執行

10.1.2　求值函數基本概念

10.1.3　輸入和輸出模式

10.1.4　錯誤處理和處理過程信息報告

10.1.5　構造器和將數據從前端傳送到后端

10.1.6　重載UDF

10.1.7　運算函數的內存問題

10.2　代數運算接口

10.3　累加器接口

10.4　使用Python寫UDF

10.5　書寫過濾器函數

第11章　編寫加載函數和存儲函數

11.1　加載函數

11.1.1　前端執行計劃函數

11.1.2　從前端調用傳遞信息到后端調用

11.1.3　后端數據讀取

11.1.4　可擴展的加載函數接口

11.2　存儲函數

11.2.1　存儲函數前端執行計劃

11.2.2　存儲函數和UDFContext

11.2.3　寫數據

11.2.4　任務失敗后數據的清理

11.2.5　存儲元數據信息

第12章　Pig和其他Hadoop社區的成員

12.1　Pig和Hive

12.2　Cascading

12.3　NoSQL數據庫

12.3.1　HBase

12.3.2　Cassandra

12.4　Hadoop中的元數據

附錄A　內置的用戶自定義函數和Piggybank

內置UDF

內置加載函數和存儲函數

內置求值函數和過濾函數

Piggybank

附錄B　Hadoop綜述

MapReduce

Map階段

Combiner階段

Shuffle階段

Reduce階段

輸出階段

分布式緩存

故障處理

HDFS

作者介紹

書末說明

總結

以上是生活随笔為你收集整理的java编程pig编码_Pig编程指南.pdf的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。