L’usage des entropies est-il justifie en apprentissage a partir des donnees?Is it justified to use entropy measures in machine learning applications? - Zighed, Djmal Abdelkader (Educação Matemática Pesquisa Revista do Programa de Estudos Pós-Graduados em Educação Matemática, 2014)
De nombreux algorithmes d’apprentissage machine utilisent les mesures d’entropie comme critère de construction qu’ils cherchent ensuite à optimiser. Parmi les mesures le plus employées, l’entropie de Shannon est certainement la plus populaire. Cependant, dans les applications réelles, l’usage des mesures d’entropie s’avère totalement inapproprié à la fois sur le plan pratique et sur le plan théorique. De nombreuses hypothèses sont en fait retenues de manière implicites alors qu’elles sont infondées. Dans cette présentation, nous allons essayer d’identifier ces hypothèses sous-jacentes et montrer qu’elles sont inadaptées en apprentissage à partir des données. Nous énoncerons ensuite, de façon intuitive d’abord, de nouvelles propriétés qui se requises pour définir des mesures pouvant déboucher sur des algorithmes plus efficients pour l’apprentissage machine. Abstract Many machine learning algorithms use entropy measures as a criterion of construction that they seek to optimize. Among the most applied measures, Shannon's entropy is certainly the most known. However, in the real world applications, the use of the entropy measure turns out to be totally inadequate both in theory and in practice. Indeed, many hypothesis are in fact implicitly assumed whereas they are unfounded, therefore unjustified. In this paper, we will try to identify those hypothesis and we will demonstrate that they are unsuitable in machine learning with real data. Then, we will introduce, intuitively, a set of new prosperities that should be required for measures that are supposed to lead to efficients algorithms.