推荐系统试验方法和指标
在介绍推荐系统指标之前，首先看一下计算和获得这些指标的主要实验方法。在推荐系统中，主要有三种评测推荐效果的实验方法，即离线实验（offline experiment） ?用户调查（user study）和在线实验 （online experiment） .?
1. ?离线实验
（1） 通过日日志收集用户行为数据，并按照一定的格式生成一个标注的数据集。
? （2）按照一定的规则将数据集划分为训练集和测试集。
?（3） 在训练集上训练用户兴趣模型， 在测试集上进行测试。
?（4） 通过事先定义的离线评测指标评测算法效果。
?
2. ?用户调查
用户调查需要一批真实的用户， 让他们在需要的推荐系统上完成一些任务。在他们完成任务的，纪录他们的行为，并让他们回答一些问题。 最后，我们通过他们的行为和答案了解测试系统的性能。
?
3. ? 在线实验
完成以上两个步骤之后， 可以在推荐系统上做一个 AB test,将他和旧的系统进行对比。
附上AB test 网站（http://www.abtests.com）
AB test 可以公平的获取不同算法在实际在线时候的性能指标，包括商业上关注的指标。
一个简答的AB test 系统，用户进入网站之后，会给用户打上在测试种属于哪个分组的标签，然后用户浏览网页的时候，行为会通过日志系统发送到后台的日志数据库。 在后台，实验人员首先配置流量分配系统。 其次，实验人员需要统计日志数据库种的数据，生成测试数据，比较结果。
?
评测指标
1. ?用户满意度
2. ?预测准确度
1） 评分预测
2） TopN推荐
3. ?覆盖率
4. ?多样性
5. ? 新颖性
6. ?惊喜度
7. ?信任度
8. ?实事性
9. ?健壮性
?
