Zied Zaier, Ph.D, MBA, CSM. Consultant, Conférencier et Auteur.

Autres métriques. Bien que les fonctions d’erreurs et les métriques d’aide à la décision soient importantes dans l’évaluation de la performance des systèmes de recommandation, il existe des aspects qui ne sont pas pris en compte par ces dernières [1]. Ainsi, de nouvelles mesures d’évaluation ont été proposées [2-5]:

• Couverture : la couverture mesure le pourcentage des articles pour lesquels le système a pu calculer des recommandations. Selon Miller et al. [6], il existe deux façons de calculer la métrique de couverture. La première calcule le pourcentage global des articles pour lesquels le système de recommandation a pu calculer des prédictions. La deuxième évalue le pourcentage des articles choisis par l’utilisateur pour lesquels le système de recommandation a pu calculer des prédictions [5, 7-12].
• Taux d’apprentissage : les algorithmes d’apprentissage sont une composante importante des systèmes de recommandation. Leur performance varie en fonction de la quantité de données d’apprentissage disponibles. Si la quantité de données d’apprentissage augmente, la qualité des recommandations devrait augmenter. Donc, cette mesure évalue la qualité des recommandations par rapport à la quantité de données d’apprentissage disponibles [2].
• Nouveauté et hasard (« Novelty and Serendipity ») : pour illustrer cette mesure, Ziegler [3] prend pour exemple l’achat de bananes dans une épicerie. Dû à la popularité élevée de ces dernières, la plupart des personnes les achètent intuitivement. Donc, ces personnes n’ont pas besoin d’une recommandation supplémentaire puisqu’elles savent déjà qu’elles vont acheter des bananes. Cette métrique mesure ainsi les recommandations non évidentes, tout en pénalisant celles évidentes [2, 13].
• Satisfaction des utilisateurs : les travaux de Cosley et al. [14] montrent que la satisfaction de l’utilisateur diminue quand un nombre significatif d’erreurs est produit par le système de recommandation. Ainsi, il peut être possible d’établir, très facilement, le niveau de satisfaction des utilisateurs [6, 14].
• Similarité moyenne : cette mesure, introduite par Miller [4], s’intéresse à la qualité du voisinage. Plus précisément, la similarité moyenne est une mesure qui évalue la similarité moyenne du groupe d’utilisateurs choisis pour le calcul de la recommandation finale [6].
• Ressources utilisées : cette dernière s’intéresse à la complexité de l’algorithme de recommandation. En effet, cette mesure calcule les ressources consommées par l’algorithme. Plus précisément, les ressources considérées peuvent être le temps de réponse, la consommation de ressources systèmes, etc. [4, 6].

Références

[1]        S. M. McNee, J. Riedl, and J. A. Konstan, « Being accurate is not enough: how accuracy metrics have hurt recommender systems, » CHI ’06: CHI ’06 extended abstracts on Human factors in computing systems, pp. 1097-1101, 2006.

[2]        L. J. Herlocker, A. J. Konstan, G. L. Terveen, and T. J. Riedl, « Evaluating collaborative filtering recommender systems, » ACM Trans. Inf. Syst., vol. 22, pp. 5-53, 2004.

[3]        C.-N. Ziegler, « Towards Decentralized Recommender Systems, » Albert-Ludwigs-Universitat Freiburg – Fakultat fur Angewandte Wissenschaften, Institut fur Informatik, 2005.

[4]        N. B. Miller, « Toward a personal recommender system, » University of Minnesota, 2003, p. 185.

[5]        G. Adomavicius and A. Tuzhilin, « Toward the next generation of recommender systems: a survey of the state-of-the-art and possible extensions, » Transactions on Knowledge and Data Engineering, vol. 17, pp. 734-749, 2005.

[6]        B. N. Miller, J. A. Konstan, and J. T. Riedl, « PocketLens: Toward a personal recommender system, » ACM Trans. Inf. Syst., vol. 22, pp. 437-476, 2004.

[7]        P. Massa and P. Avesani, « Trust-Aware Collaborative Filtering for Recommender Systems, » On the Move to Meaningful Internet Systems 2004: CoopIS, DOA, and ODBASE: OTM Confederated International Conferences, CoopIS, DOA, and ODBASE, vol. 3290, 2004.

[8]        J. L. Herlocker, « Understanding and improving automated collaborative filtering systems, » University of Minnesota, 2000, p. 144.

[9]        Z. Zaier, R. Godin, and L. Faucher, « Recommendation Quality Evolution Based on Neighborhood Size, » in Third International Conference on Automated Production of Cross Media Content for Multi-Channel Distribution. AXMEDIS ’07 Barcelona, Spain, 2007, pp. 33-36.

[10]      Z. Zaier, R. Godin, and L. Faucher, « Recommendation Quality Evolution Based on Neighbors Discrimination, » in MCETECH Conference on e-Technologies Montreal, 2008, pp. 148-153.

[11]      N. Good, B. J. Schafer, J. A. Konstan, A. Borchers, B. Sarwar, J. Herlocker, and J. Riedl, « Combining collaborative filtering with personal agents for better recommendations, » AAAI ’99/IAAI ’99: Proceedings of the sixteenth national conference on Artificial intelligence and the eleventh Innovative applications of artificial intelligence conference innovative applications of artificial intelligence, pp. 439-446, 1999.

[12]      S. E. Middleton, N. R. Shadbolt, and D. C. De Roure, « Ontological user profiling in recommender systems, » ACM Trans. Inf. Syst., vol. 22, pp. 54-88, 2004.

[13]      G. L. Terveen and W. Hill, « Beyond Recommender Systems: Helping People Help Each Other, » in Human-Computer Interaction in the New Millenium, J. M. Carroll, Ed. Reading, MA, USA., 2001.

[14]      D. Cosley, S. K. Lam, I. Albert, J. A. Konstan, and J. Riedl, « Is Seeing Believing? How Recommender Interfaces Affect Users’ Opinions, » in CHI Lett. vol. 5, A. Press, Ed., 2003, pp. 585-592.