Analyse lexicale

Un article de Wikipédia, l'encyclopédie libre.

L'analyse lexicale est la transformation d’un flot de caractères en un flot de lexèmes ou tokens.

Généralement, les lexèmes ont eux-mêmes une structure. Ils forment un sous-langage. Les techniques utilisées pour l’analyse lexicale sont identiques à celles utilisées pour l’analyse syntaxique.

Nota Bene : un token est un terme technique désignant un mot, terminal ou terminal générique, utilisable par l’analyseur syntaxique. Par exemple, une expression arithmétique du type (5+5)×2 pourrait être traduite par la suite de tokens suivante : (Terme opérateur Terme) opérateur Terme.

L'analyse lexicale peut être réalisée de façon semi-automatique avec un logiciel (exemple : le logiciel libre flex ou encore JLex & JCup).

[modifier] Articles connexes