MongoDB实战(4)MapReduce
在 MongoDB 上使用 Map/Reduce進行并行"統計"很容易。
使用 MapReduce 要實現兩個函數 Map 函數和 Reduce 函數,Map 函數調用 emit(key, value),
遍歷 collection 中所有的記錄, 將key 與 value 傳遞給 Reduce 函數進行處理。
Map函數和Reduce函數可以使用 JavaScript 來實現,可以通過 db.runCommand 或 mapReduce 命令來執行一個MapReduce 的操作:
參數說明:
mapreduce: 要操作的目標集合。
map: 映射函數 (生成鍵值對序列,作為 reduce 函數參數)。
reduce: 統計函數。
out: 統計結果存放集合 (不指定則使用臨時集合,在客戶端斷開后自動刪除)。
query: 目標記錄過濾
sort: 目標記錄排序。
limit: 限制目標記錄數量。
finalize: 最終處理函數 (對 reduce 返回結果進行最終整理后存入結果集合)
scope: 向 map、reduce、finalize 導入外部變量。
jsMode: 是否轉換Bson格式在map和reduce執行間
verbose: 顯示詳細的時間統計信息。
下面我們來搞一個例子吧:
準備一些數據:
接下來我們演示如何統計各個班的學生數量
Map:
Map 函數必須調用 emit(key, value) 返回鍵值對,使用 this 訪問當前待處理的 Document。
value 可以使用 JSON Object 傳遞 (支持多個屬性值)。
例如:emit(this.classid, {count:1})
Reduce:
Reduce 函數接收的參數類似 Group 效果,將 Map 返回的鍵值序列組合成 { key, [value1,
value2, value3, value...] } 傳遞給 reduce。
Reduce 函數對這些 values 進行 "統計" 操作,返回結果可以使用 JSON Object。
Result:
mapReduce() 將結果存儲在 "students_res" 表中。
Finalize:
利用 finalize() 我們可以對 reduce() 的結果做進一步處理。
我們再重新計算一次,看看結果:
Options:
我們還可以添加更多的控制細節。
可以看到先進行了過濾,只取 age>10 的數據,然后再進行統計,所以就沒有 age=9 的數
據了。
轉載于:https://blog.51cto.com/janephp/1323812
《新程序員》:云原生和全面數字化實踐50位技術專家共同創作,文字、視頻、音頻交互閱讀總結
以上是生活随笔為你收集整理的MongoDB实战(4)MapReduce的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 如何提高在家办公的效率?
- 下一篇: Bitmap的管理