2015年06月18日 - 21:58

基于协同过滤音乐推荐系统

1. 数据获取,利用爬虫怕取虾米用户信息和用户行为信息。(已经爬了48w条记录,爬到第8层网页) → 参见爬虫代码

2. 数据预处理 2.1 增加表头元数据信息schema sed -i '1i user,song,author,cnt' user1.csv (i是从当前行之前插入,a是从当前行之后插入) 2.2 先查看是否有四个以上逗号的:sed -n '/,.,.,.,/p' user1.csv 2.3 删除这些数据:sed -i '/,.,.,.,/'d user1.csv 2.3 对数据进行规整,将一个用户数据进行统一。 → 参见mapreduce代码

3. 数学模型 3.1 求每个用户对每首歌的评价矩阵:用两次maphash实现。 3.2 衡量两个用户相似度的方法很多,如余弦相似度、皮尔逊相似度、Jaccard相似度、LSH等等,我们这里用最经典的余弦相似度。 3.3 余弦相似度公式如下: 其中Cos(u1,u2)就表示用户u1与用户u2的相似度; R就是评价矩阵; Ru1,y表示用户u1对音乐y的评分,Ru2,y表示用户u2对音乐y的评分; 分子中的y表示用户u1与用户u2评价过的音乐的交集; 分母中的y则表示用户u1与u2各自的评分集合; 3.4 求目标用户的最近邻用户,我们这里用TopK算法求最近邻的10个用户(即相似度最高的用户)。 3.5 用最近邻用户的评分来给目标用户进行推荐,推荐评分公式如下:

    Predict(u,i)就表示用户u对音乐i的打分预测值; 
    U就是用户u的最近邻用户集合; 
    R就是评价矩阵;
    3.5 得到推荐矩阵后,利用TopK给用户推荐分值最高的前K首歌。