modelo del lenguaje

Un modelo del lenguaje estadístico asigna una probabilidad a una secuencia de m palabras mediante una distribución de probabilidad. Tener una forma de estimar la verosimilitud de diferentes frases es útil en muchas aplicaciones de procesamiento de lenguaje natural. Modelación del lenguaje se utiliza en el reconocimiento de voz, traducción automática, , análisis, reconocimiento de escritura, y otras aplicaciones. En el reconocimiento de voz, la computadora intenta hacer coincidir los sonidos con secuencias de palabras. El modelo del lenguaje proporciona un contexto para distinguir entre las palabras y frases que suenan similares. Por ejemplo, en , las frases "recognize speech " y " wreck a nice beach " se pronuncian de forma similar pero significan cosas muy diferentes. Estas ambigüedades son más fáciles de resolver cuando se incorpora la evidencia del modelo del lenguaje con el modelo de pronunciación y el modelo acústico. Los modelos del lenguaje se utilizan en la recuperación de información en el . Aquí un modelo del lenguaje está asociado con cada documento en una colección. Los documentos se clasifican sobre la base de la probabilidad de la consulta en el modelo del lenguaje del documento . Comúnmente, el modelo del lenguaje se utiliza para este propósito—además conocido como el . La escasez de datos es un problema importante en la construcción de modelos de lenguaje. La mayoría de las posibles secuencias de palabras no serán observadas en el entrenamiento. Una solución es hacer la hipótesis de que la probabilidad de una palabra sólo depende de las palabras anteriores. Esto se conoce como un modelo de N-grama o modelo unigrama cuando .