推薦系統(tǒng)數(shù)據(jù)集之MovieLens

簡(jiǎn)介

MovieLens其實(shí)是一個(gè)推薦系統(tǒng)和虛擬社區(qū)網(wǎng)站，它由美國(guó) Minnesota 大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院的GroupLens項(xiàng)目組創(chuàng)辦，是一個(gè)非商業(yè)性質(zhì)的、以研究為目的的實(shí)驗(yàn)性站點(diǎn)。GroupLens研究組根據(jù)MovieLens網(wǎng)站提供的數(shù)據(jù)制作了MovieLens數(shù)據(jù)集合，這個(gè)數(shù)據(jù)集合里面包含了多個(gè)電影評(píng)分?jǐn)?shù)據(jù)集，分別具有不同的用途。本文均用MovieLens數(shù)據(jù)集來代替整個(gè)集合。MoveieLens數(shù)據(jù)集可以說是推薦系統(tǒng)領(lǐng)域最為經(jīng)典的數(shù)據(jù)集之一，其地位類似計(jì)算機(jī)視覺領(lǐng)域里的MNIST數(shù)據(jù)集。

MovieLens

MoveLens是一個(gè)數(shù)據(jù)集合，其中根據(jù)創(chuàng)建時(shí)間、數(shù)據(jù)集大小等分為了若干個(gè)子數(shù)據(jù)集。每個(gè)數(shù)據(jù)集的格式、大小、用途均有所差異。本文以MovieLens 1M Dataset為例，具體介紹下此數(shù)據(jù)集，其它MovieLens數(shù)據(jù)集也大都類似，本文使用的數(shù)據(jù)集下載鏈接為ml-1m.zip。

MoveLens 1M 數(shù)據(jù)集包含了來自6040位在2000年加入MovieLens的用戶，對(duì)大約3900部電影的1000209條匿名評(píng)價(jià)。

數(shù)據(jù)集概覽

ml-1m.zip文件解壓之后，可以得到4個(gè)文件，分別是：

  • movies.dat
  • ratings.dat
  • user.dat
  • README

README是一個(gè)Markdown格式文件，里面包含了記錄了此數(shù)據(jù)集的基本信息，在此不贅述。我們主要關(guān)注一下前三個(gè)文件的內(nèi)容和格式。

1、RATINGS 文件描述

打開ratings.dat文件，可以看到以下內(nèi)容：


其文件格式為：
UserID::MovieID::Rating::Timestamp

  • UserID范圍是1~6040，代表了6040個(gè)MovieLens用戶
  • MovieID范圍是1到3952，代表了3952部電影
  • Rating范圍是1到5，代表了用戶對(duì)電影的評(píng)級(jí)，最高5顆星，不允許半顆星存在
  • Timestamp是以秒為單位的時(shí)間戳

注意： 每個(gè)用戶至少會(huì)對(duì)20部電影進(jìn)行評(píng)級(jí)。

2、USER 文件描述

打開users.dat文件，可以看到以下內(nèi)容：

其文件格式為：
UserID::Gender::Age::Occupation::Zip-code

  • UserID范圍是1~6040，代表了6040個(gè)MovieLens用戶
  • Gender 'M'代表男性，'F'代表女性
  • Age 年齡的范圍如下
    • 1： 18歲以下
    • 18： 18~24歲
    • 25： 25~34歲
    • 35： 35~44歲
    • 45： 45~49歲
    • 50： 50~55歲
    • 56： 56歲以上
  • Occupation 的范圍如下
    • 0：其他或者未指定
    • 1： 學(xué)者/教育行業(yè)
    • 2：藝術(shù)家
    • 3： 辦事員/行政人員
    • 4： 大學(xué)生/研究生
    • 5：服務(wù)業(yè)
    • 6：醫(yī)療醫(yī)護(hù)業(yè)
    • 7：執(zhí)行官/管理者
    • 8：農(nóng)民
    • 9：家庭主婦
    • 10：中小學(xué)生
    • 11：律師
    • 12：程序員
    • 13：退休人員
    • 14：銷售人員/市場(chǎng)人員
    • 15：科學(xué)家
    • 16：自主創(chuàng)業(yè)
    • 17：技術(shù)人員/工程師
    • 18：商人/手工工作者
    • 19：失業(yè)
    • 20：作家
  • Zip-dode 郵政編碼

3、MOVIES 文件描述

打開movies.dat,可以看到以下內(nèi)容：

其文件格式為：
MovieID::Title::Genres

  • MovieID 范圍是1到3952，代表了3952部電影
  • Title 是電影名稱，由IMDB提供，包括了發(fā)行年份
  • Genres 電影題材由豎線分開，從以下類別中選取
    • Action
    • Adventure
    • Animation
    • Children's
    • Comedy
    • Crime
    • Documentary
    • Drama
    • Fantasy
    • Film-Noir
    • Horror
    • Musical
    • Mystery
    • Romance
    • Sci-Fi
    • Thriller
    • War
    • Western

數(shù)據(jù)處理

我們使用pandas庫(kù)來讀取和處理數(shù)據(jù)。

1、讀取數(shù)據(jù)并顯示

import pandas as pd
rnames = ["UserID", "MovieID", "Rating", "TimeStamp"]
ratings = pd.read_table("./ml-1m/ratings.dat", sep="::", header=None, names=rnames, engine='python')
print(ratings[:5])

unames = ["UserID", "Gender", "Age", "Occupation", "Zip-code"]
users = pd.read_table("./ml-1m/users.dat", sep="::", header=None, names=unames, engine='python')
print(users[:5])

mnames = ["MovieID", "Title", "Genres"]
movies = pd.read_table("./ml-1m/movies.dat", sep="::", header=None, names=mnames, engine='python')
print(movies[:5])

上述代碼只顯示了前五行數(shù)據(jù)，結(jié)果如下：

2、數(shù)據(jù)合并

根據(jù)UserID字段，合并ratings和users集合，代碼如下：

data1 = pd.merge(ratings, users, on='UserID')
print(data1[:5])

結(jié)果如下：

可以看到這兩個(gè)數(shù)據(jù)集根據(jù)UserID這一字段進(jìn)行了合并，形成的新數(shù)據(jù)集包含了8列。
根據(jù)MovieID合并ratings和movies數(shù)據(jù)集，代碼如下：

data2 = pd.merge(ratings, movies, on='MovieID')
print(data2[:5])

結(jié)果如下：

3、分組之后選擇某一列進(jìn)行運(yùn)算

# 將data2以 ’MovieID‘，’Title‘兩列進(jìn)行分組，并計(jì)算Rating出現(xiàn)的次數(shù)
data3 = data2.groupby(['MovieID', 'Title'], as_index=False)['Rating'].count()
# 將Rating改名為Rating_Count
rating_count_by_movie.columns=['MovieID','Title','Rating_Count']
# 以Rating_Count字段進(jìn)行降序排序
rating_count_by_movie.sort_values(by=['Rating_Count'],ascending=False,inplace=True)
print(data3[:5])

結(jié)果如下：

可以看到，我們只取了合并后的數(shù)組的'MovieID'、'Title'兩列的元素，并且統(tǒng)計(jì)了有多少用戶對(duì)電影進(jìn)行了評(píng)分，接著按照評(píng)分人數(shù)進(jìn)行了降序排序。

4、分組運(yùn)算方法agg

# 將data2以 ’MovieID‘，’Title‘兩列進(jìn)行分組，并且對(duì)Rating這一列的數(shù)據(jù)計(jì)算均值和標(biāo)準(zhǔn)差
rating_stddev = data2.groupby(['MovieID','Title']).agg({'Rating':['mean','std']})
rating_stddev.head(5)

結(jié)果如下：

此操作可以計(jì)算用戶對(duì)電影的評(píng)分的均值和標(biāo)準(zhǔn)差，然后降序排序，可以在一定程度上反應(yīng)最受用戶喜愛的電影。

5、篩選出指定的列

ratings.dat數(shù)據(jù)集里面包含了4列，其中最后一列通常不是我們所需要的，可以通過以下代碼進(jìn)行篩選：

ratings_1 = ratings[['UserID','MovieID','Rating']]
print(ratings_1[:5])

結(jié)果如下：

6、遍歷

對(duì)于上述數(shù)據(jù)，我們可以采用如下方法來逐行遍歷：

for idx, row in ratings_1.iterrows():
    userid = int(row['UserID'])
    movieid = int(row['MovieID'])
    rating = int(row['Rating'])
    print(userid, movieid, rating)
    break

上述實(shí)例代碼只遍歷了一行就跳出，結(jié)果如下：

其他的操作可以參考pandas官方文檔。

參考

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

友情鏈接更多精彩內(nèi)容