Spark:获取dataframe某列最大值
生活随笔
收集整理的這篇文章主要介紹了
Spark:获取dataframe某列最大值
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
// 查詢 df 中 "game_size"字段的最大值,同理可以查詢其他的統計信息
scala> df.agg(max("game_size")).show
+--------------+
|max(game_size)|
+--------------+
| 99|
>df1.show()
+-----+--------------------+--------+----------+-----------+
|floor| timestamp| uid| x| y|
+-----+--------------------+--------+----------+-----------+
| 1|2014-07-19T16:00:...|600dfbe2| 103.79211|71.50419418|
| 1|2014-07-19T16:00:...|5e7b40e1| 110.33613|100.6828393|
| 1|2014-07-19T16:00:...|285d22e4|110.066315|86.48873585|
| 1|2014-07-19T16:00:...|74d917a1| 103.78499|71.45633073|>row1 = df1.agg({"x": "max"}).collect()(0)
>print row1
Row(max(x)=110.33613)
>print row1["max(x)"]
110.33613
《新程序員》:云原生和全面數字化實踐50位技術專家共同創作,文字、視頻、音頻交互閱讀
總結
以上是生活随笔為你收集整理的Spark:获取dataframe某列最大值的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: python:dataframe保存成c
- 下一篇: Spark:计算时间差(天数和秒数)