结果分析 by Bill Yuan

@钱宇欣

• 结果分析
  • 不同mode出行模式的准确率
  • 混淆矩阵（TT,TF,FT,FF）
    • 多分类任务的混淆矩阵处理
      https://blog.csdn.net/justkian/article/details/82859032
  • mode统计分布的画图（mode分错的概率，被分错到哪些mode中）
  • 不同结果之间的补集，为后边做模型融合做准备
    • 即不同模型之间，正确结果的分布
  • 自己的一些思路
    • 评估分类器性能的度量，像混淆矩阵、ROC、AUC等
      https://www.cnblogs.com/suanec/p/5941630.html

@曾义夫
@2019/5/3 16:52:02

之前大家是用最后20%的数据作为验证集，现在为了和测试集尽可能相似以比较接近的测试模型在测试集上的表现，调整一下验证集，方便数据分析组分析，统一使用训练集最后7天的数据作为验证集。
之前的本地验证结果请保留下来，将有价值的模型的结果分类打包后给复杂数据分析的同学:

• 分析目前已有模型的具体表现情况，优势和不足，
• 相互的差异
  • 如在不同Mode上的准确率，
  • 每个mode的假阳性，
  • 假阴性结果分布，
  • 不同模型的能力是否存在互补或相似性，特别是对于结果相近的模型;