Pondération de contextes
Un article de Wikipédia, l'encyclopédie libre.
 |
Cette page est en cours de réécriture ou de restructuration importante.
Vous êtes invité à en discuter en page de discussion et à participer à son amélioration en apportant des modifications.
Consultez l’historique des modifications pour voir les modifications récentes. |
CM (pour Context Mixing ou Pondération de contextes) est un algorithme de compression de données sans perte, statistique et adaptatif.
Sommaire |
[modifier] Principe
La pondération de contexte utilise plusieurs modélisations de contexte pour évaluer la probabilité des différents symboles.
En regroupant ces différentes modélisations ayant chacune des avantages propres, la pondération de contexte est sensée offrir une fiabilité supérieure dans la prédiction que chaque modélisation prise séparément.
Les différentes entrées d'un CM sont en général adaptées à des types de données différents. Par exemple un CM peut mixer les sorties d'un prédicteur spécialisé pour le texte et d'un autre spécialisé pour les images, chacun étant à priori plus performant sur le type de données pour lequel il est spécialisé ; il devrait ainsi approcher les performances du prédicteur spécialisé pour le texte sur le texte et celles du prédicteur spécialisé pour les images sur les images.
[modifier] Propriétés
La pondération de contextes est un algorithme symétrique. Cela signifie qu'il fait la même chose à la compression et à la décompression. Cela signifie aussi que sa vitesse est la même dans les deux cas (si l'on ne tient pas compte des subtilités des entrées-sorties), et que la quantité de mémoire nécessaire (pour stocker les mixeurs, les prédicteurs et leurs contextes) est identique.
[modifier] Performances
Les taux de compression obtenus par les CMs sont parmi les meilleurs obtenus aujourd'hui et ce, quel que soit le type de données à compresser (à l'exception, bien entendu des données aléatoires).
La quantité de mémoire nécessaire est en générale importante. Chaque prédicteur a ses propres besoins et le ou les mixeurs peuvent également nécessiter quelques ressources (par exemple dans le cas d'un réseau de neurones).
La vitesse est le point faible des CMs. Ils sont d'autant plus lents que le nombre de prédicteurs (ou de contextes) est important. Certains mixeurs "intelligents" désactivent dynamiquement les prédicteurs et les contextes non pertinents pour accélérer les calculs.
Un CM est facilement parallélisable car, en pratique, les prédicteurs sont presque toujours indépendants.
[modifier] Notes
La pondération de contexte est un domaine de recherche active en intelligence artificielle et en apprentissage automatique.
