推荐引擎-(2)推荐系统的实验方法。
? 优点缺点
不需要有对实际系统的控制权
不需要用户参与实验
速度快,可以测试大量算法
无法计算商业上关心的指标
离线实验的指标和商业指标存在差距
????? 2.用户调查
????? 3.在线实验(AB测试)
?
评测指标
????? 1.用户满意度
???????????? (1)问卷
???????????? (2)可以通过点击率、用户停留的时间和转化率等指标度量用户的满意度
????? 2.预测准确度
???????????? (1)评分预测
?????????????????? RMSE(均方根误差)
?????????????????? MAE(平均绝对误差)
?????????????????? 比较用户的实际评分,和预测评分
?????????? (2)TopN推荐
??????????????? 一般通过准确率(precision)/召回率(recall)度量
?????????? (3)覆盖率
??????????????????? 描述的是对长尾的挖掘能力。
???????????? (4) 多样性
???????????? (5)新颖性
???????????? (6)惊喜度(serendipity):可以理解为与用户的历史兴趣并不同,但却让用户满意,那么就说惊喜度很高.
???????????? (7)信任度
???????????? (8)实时性
???????????? (9)健壮性
???????????? (10)商业目标
?????? 评测维度
???????????? 用户维度
???????????? 物品维度
?? ????????? 时间维度
?
?????????????
?????
?
?
?
?