Aplicación de modelos Transformers para clasificar textos en idioma español

Abstract

La llegada de los modelos Transformers ha revolucionado el procesamiento del lenguaje natural (PLN) al introducir un innovador mecanismo de atención capaz de capturar de manera eficiente y simultánea dependencias a largo plazo en secuencias de datos. Este avance arquitectónico ha generado un camino para un progreso significativo en diversas aplicaciones de PLN. En consecuencia, el enfoque de este proyecto radica en aprovechar estos modelos Transformers Pysentimiento para la clasificación de texto en el idioma español. Para lograr este objetivo, se emplearán cuatro modelos distintos: BERT, RoBERTa, DistilBERT y AlBERT, utilizando un conjunto de datos obtenido de la plataforma en línea Kaggle. Estos conjuntos de datos serán sometidos a un procesamiento previo y posteriormente alimentados a cada modelo para su evaluación. Se llevará a cabo un análisis comparativo de los resultados utilizando diversas métricas, y los hallazgos experimentales revelarán que, después de un adecuado preprocesamiento, el modelo DistilBERT alcanzo una precisión del 78%, un recall del 75%, una exactitud del 75% y una puntuación f1 del 76%. Este resultado establece al modelo DistilBERT como la opción más adecuada para tareas de clasificación de texto en el idioma español.