貓眼TOP100

今天爬了貓眼TOP100的電影，那就使用Jupyter簡單的分析查看一下吧。
使用的是Jupyter Notebook，所以代碼如果直接復制在PyCharm里面可能會執(zhí)行不了。
如何爬取的博客：爬蟲學習日記3_貓眼TOP100

導包并清洗數(shù)據(jù)

根據(jù)上一篇博客里面寫的爬取方式，我把爬取下來的數(shù)據(jù)存放在了MongoDB里面，所以首先需要加載數(shù)據(jù)。

import pandas as pd import matplotlib.pyplot as plt import pymongo from functools import reduce from collections import Counter# 連接mongodb，并對數(shù)據(jù)進行簡單的清洗 conn = pymongo.MongoClient()['貓眼top100']['ranking'] df = pd.DataFrame(list(conn.find())) df.time = pd.to_datetime(df.time.str[0:10]) # 將日期數(shù)據(jù)進行切割，并轉為日期類型 df.index = df.ranking # 去除默認的索引，將影片排名作為索引 df.score = pd.to_numeric(df.score) # 把字符類型的評分轉為數(shù)值類型 df = df.drop(['_id','image','ranking'],axis = 1) # 刪除無用的MongoDB自帶id、圖片url、和作為索引重復的ranking列 df

大話西游之月光寶盒是評分最高的，也是目前唯一一個9.6分的電影

df.sort_values(by='score',ascending=False) df

評分主要集中于8.8-9.1分，占了top100的77%

df['score'].hist(bins=8) df['score'].value_counts()

TOP100大部分影片都是在1990年之后上映的

plt.scatter(df['score'],df.time)

TOP100電影里面的演員出演情況

• 伊萊賈·伍德,伊恩·麥克萊恩,麗芙·泰勒三人組合總共出演了3部電影
• 丹尼爾·雷德克里夫,魯伯特·格林特,艾瑪·沃特森三人組合總共出演了2部電影
  

df.actors.value_counts().head()

• 張國榮出演7部，周星馳、梁朝偉出演4部
  

# 方法1 # pd.Series(df['actors'].str.cat(sep=',').split(",")).value_counts()# 方法2 # actors_map = reduce(lambda x,y:x+y.split(','),df['actors'],[]) # Counter(actors_map)# 方法3 actors_map = reduce(lambda x,y:x+y.split(','),df['actors'],[]) pd.DataFrame(pd.Series(actors_map).value_counts(),columns=['出演次數(shù)']).head()

• 根據(jù)演員姓名查找所拍的電影
  

key='張國榮' # 方法1 # index = [i for i, item in enumerate(df['actors']) if key in item] # df.iloc[index]# 方法2 df[df['actors'].str.contains(key)]

總結

• 初學數(shù)據(jù)分析，從一堆數(shù)據(jù)里面找出一些小小的規(guī)律，也是挺好玩的。
• 這次主要卡在最后兩個問題上，通過各種群尋求答案，發(fā)現(xiàn)有多種方法可以實現(xiàn)，朋友們可以每個方法都試一下。
• 其實這只能算一個數(shù)據(jù)的展示，壓根啥都沒分析出來，還是要多從what、why、how三方面考慮問題。
• 寫的不好還請各位海涵，歡迎各位底下留言批評。

總結

以上是生活随笔為你收集整理的数据分析1_猫眼TOP100的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。