5.3 Analisis lexico.

Creacion de Tabla de tokens

La creación de la tabla de Tokens compete inicialmente al analizador de léxico, quien registrará a las entidades (reconocidas bajo el patrón de Identificador) de manera única, por medio del binomio de operaciones Búsqueda-Inserción.

Cuando construir la tabla de tokens

la tabla de símbolos es creada durante el paso de análisis léxico. Por medio de un índice se entra a la tabla de símbolos para ubicar la variable, a partir del token generado por el scanner.

Tipos de Tokens

Tokens

Símbolos terminales de una gramática, identificadores, palabras reservadas, operadores.

Varios signos pueden formar un mismo token.

Atributos:

Información adicional que significa algo a la hora de compilar

Creación

La Tabla de Tokens es una serie de renglones, cada uno de los cuales contiene una lista de valores de atributos que son asociados con una variable en particular

Una tabla de símbolos provee la siguiente información:

Analizador Léxico

Es tambien conocido como scanner y este aísla el analizador sintáctico de la representación de lexemas de los componentes léxicos.

El analizador léxico opera bajo petición del analizador sintáctico devolviendo un componente léxico conforme el analizador sintáctico lo va necesitando para avanzar en la gramática.

Tabla de Tokens

Componentes léxicos

Es otra manera de llamar a los tokens y es la unidad mínima de información que significa algo a la hora de compilar

-Da un Identificador

-Que información es asociada con un nombre

-como se asocia esa información con un nombre

-como acceder a esta información

Cadenas Especificas

Pero las dos funciones importantes que realizan las tablas Tokens en el proceso de traducción son:

-Verificar que la semántica sea correcta

-Ayudar en la generación apropiada de código.

Este tipo de tokens son como las palabras reservadas (if o While), signos de puntuación (., ,, = ...), operadores aritméticos (+,*,...) y lógicos (AND, OR, ...) Y no tienen asociado ningún valor, solo su tipo

Cadenas no especificas

Este tipo de token son los identificadores o las contantes numéricas o de texto.

Estas siempre tienen un tipo y valor.

Por ejemplo, si dato es el nombre de una variable, el tipo del token será identificador y su valor será dato