實(shí)訓(xùn)目的

從daily_stocks.csv

文件導(dǎo)入股票交易數(shù)據(jù)

對(duì)數(shù)據(jù)進(jìn)行分組

計(jì)算股票的價(jià)格，包括平均最高最低價(jià)格，平均開(kāi)盤(pán)收盤(pán)價(jià)格

將計(jì)算的數(shù)據(jù)導(dǎo)出

實(shí)訓(xùn)內(nèi)容

1. 認(rèn)識(shí)數(shù)據(jù)

• 文件daily_stocks.csv文件中保存的是65020條股票交易數(shù)據(jù)，各列說(shuō)明如下。
  

2. 環(huán)境準(zhǔn)備

• 安裝pig

教程推薦 https://blog.csdn.net/qq_42881421/article/details/84331794

• 啟動(dòng)hadoop環(huán)境
  
• 啟動(dòng)grunt shell。

pig

3. 數(shù)據(jù)上傳

• 將數(shù)據(jù)文件daily_stocks.csv上傳到HDFS的/pig_input目錄下，并查看是否上傳成功。

hadoop fs -put ~/data/daily_stocks.csv /pig_input hadoop fs -ls /pig_input

4. 加載數(shù)據(jù)

• 將daily_stocks.csv中的數(shù)據(jù)加載到名為stock的關(guān)系中，
• 在grunt shell中輸入如下命令：

#注意自己設(shè)置的端口 stock = LOAD 'hdfs://hadoop102:8020/pig_input/daily_stocks.csv' USING PigStorage(',') as (exchange:chararray,symbol:chararray,date:chararray,stock_price_open:double,stock_price_high:double,stock_price_low:double,stock_price_close:double,stock_volume:double,stock_price_adj_close:double);

• 并查看數(shù)據(jù)的前十行:

5. 數(shù)據(jù)分組

• 按交易所（exchange）進(jìn)行分組，將結(jié)果保存到名為stock_exc_grp的關(guān)系中并檢查分組結(jié)果：

stock_exc_grp = GROUP stock BY exchange; dump stock_exc_grp;

6. 統(tǒng)計(jì)交易所數(shù)量

• 根據(jù)分組后的數(shù)據(jù)，統(tǒng)計(jì)出每只股票有幾家交易所可進(jìn)行交易：

unique_symbols = FOREACH stock_exc_grp {symbols = stock.symbol;unique_symbol = DISTINCT symbols;GENERATE group, COUNT(unique_symbol);};

• 顯示結(jié)果

dump unique_symbols;

7. 統(tǒng)計(jì)平均開(kāi)盤(pán)收盤(pán)價(jià)

• 將stock關(guān)系按照股票代碼（symbol）進(jìn)行分組，并統(tǒng)計(jì)每只股票的平均開(kāi)盤(pán)與收盤(pán)價(jià)格：

stock_symbol_grp = GROUP stock BY symbol;avg_stock_price_opens_closes = FOREACH stock_symbol_grp {stock_price_open = stock.stock_price_open;stock_price_close = stock.stock_price_close;GENERATE group, AVG(stock_price_open),AVG(stock_price_close); };dump avg_stock_price_opens_closes;

8. 統(tǒng)計(jì)平均最高最低價(jià)

• 統(tǒng)計(jì)每只股票的平均最高和最低價(jià)格

avg_stock_price_high_low = FOREACH stock_symbol_grp {stock_price_high = stock.stock_price_high;stock_price_low = stock.stock_price_low;GENERATE group, AVG(stock_price_high),AVG(stock_price_low);};dump avg_stock_price_high_low;

9. 導(dǎo)出數(shù)據(jù)

• 將avg_stock_price_high_low, avg_stock_price_opens_closes 和 unique_symbols導(dǎo)出HDFS
  文件系統(tǒng)中

store unique_symbols into 'unique_symbols' using PigStorage(',');store avg_stock_price_opens_closes into 'avg_stock_price_opens_colses' using PigStorage(',');store avg_stock_price_high_low into 'avg_stock_price_high_low' using PigStorage(',');

• 查看導(dǎo)出的數(shù)據(jù)

hadoop fs -ls /user/root hadoop fs -cat /user/root/unique_symbols/part-r-00000

實(shí)訓(xùn)總結(jié)

• Pig包括兩部分：用于描述數(shù)據(jù)流的語(yǔ)言，稱為Pig Latin；和用于運(yùn)行Pig Latin程序的執(zhí)行環(huán)境。
• Pig不適合所有的數(shù)據(jù)處理任務(wù)，和MapReduce一樣，它是為數(shù)據(jù)批處理而設(shè)計(jì)的。如果只想查詢大數(shù)據(jù)集中的一小部分?jǐn)?shù)據(jù)，pig的實(shí)現(xiàn)不會(huì)很好，因?yàn)樗獟呙枵麄€(gè)數(shù)據(jù)集或絕大部分。
• Pig Latin 程序有一系列語(yǔ)句構(gòu)成。操作和命令是大小寫(xiě)無(wú)關(guān)的，而別名和函數(shù)名是大小寫(xiě)敏感的。
• Pig處理多行語(yǔ)句時(shí)，在整個(gè)程序邏輯計(jì)劃沒(méi)有構(gòu)造完畢前，pig并不處理數(shù)據(jù)。

總結(jié)

以上是生活随笔為你收集整理的Pig股票交易数据处理的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。