Lo que debe saber antes de elegir un
Conjunto de datos de análisis de sentimiento

    
¿Por qué se necesita un conjunto de datos de análisis de sentimientos para el entrenamiento?
Los modelos de sentimiento son un tipo de algoritmo de procesamiento del lenguaje natural (PLN) que determina la polaridad de un texto. Es decir, un modelo de sentimiento predice si la opinión expresada en un texto es positiva, negativa o neutra. Estos modelos constituyen una potente herramienta para obtener información sobre grandes conjuntos de datos basados en opiniones, como publicaciones en redes sociales y reseñas de productos. Por ejemplo, un vendedor del mercado de Amazon podría utilizar un modelo de sentimiento para evaluar rápidamente miles de opiniones y medir la satisfacción de los clientes con sus productos. Los modelos de sentimiento también pueden utilizarse para predecir las reseñas de un nuevo producto comparando los metadatos del producto con productos similares y analizando las reseñas de esos productos.

Como todos los algoritmos de aprendizaje automático, los modelos de sentimiento requieren grandes conjuntos de datos de entrenamiento etiquetados para desarrollarse y ajustarse, también llamados conjuntos de datos de análisis de sentimiento de entrenamiento. El primer paso en el desarrollo de un modelo requiere un conjunto de datos de decenas de miles de frases etiquetadas como positivas, negativas o neutras. Encontrar datos de entrenamiento es difícil, porque un experto humano debe determinar y etiquetar la polaridad de cada afirmación en los datos de entrenamiento. Disponer de un conjunto de datos de entrenamiento ya etiquetados reduce enormemente el tiempo y el esfuerzo necesarios para desarrollar un modelo de sentimiento. Dos de estos conjuntos de datos de sentimiento utilizados con frecuencia para el entrenamiento son las bases de datos de Internet Movie Database (IMDB) y de reseñas de Amazon.

Conjuntos de datos de entrenamiento primarios: Bases de datos de reseñas de IMDB y Amazon

Las bases de datos de reseñas de IMDB y Amazon son casi ideales para entrenar modelos de sentimiento (más adelante hablaremos de sus limitaciones), ya que son conjuntos de datos listos para usar con sentimientos fácilmente etiquetados. La polaridad de estas opiniones puede determinarse segmentando las opiniones por puntuación. En el caso de la base de datos IMBD, las opiniones de 0 a 3 estrellas suelen considerarse negativas, las de 4 a 6 neutras y las de 7 a 10 positivas. Del mismo modo, para las opiniones de Amazon, 1-2 estrellas es negativo, 3 estrellas es neutral, y 4-5 estrellas es positivo. Sin embargo, la base de datos de reseñas de Amazon no es tan popular, ya que una calificación de 1 a 5 no tiene la fidelidad de un sistema de 1 a 10 y el conjunto de datos de Amazon es más complejo y, por tanto, más difícil de utilizar.

La base de datos IMDB se ha utilizado en multitud de estudios académicos, tutoriales y códigos de código abierto. El conjunto de datos estándar de IMDB contiene 50.000 críticas, con un número par de críticas positivas y negativas. En general, la base de datos IMDB es más popular que la de Amazon, ya que proporciona un conjunto de datos más pequeño y fácil de manipular. El conjunto de datos IMDB es una potente herramienta para desarrollar las habilidades necesarias para pasar a desarrollar modelos de sentimiento más avanzados.

El conjunto de datos de reseñas de Amazon tiene las ventajas del tamaño y la complejidad. Amazon ha recopilado opiniones durante más de 20 años y ofrece un conjunto de datos de más de 130 millones de opiniones etiquetadas. El conjunto de datos de Amazon también ofrece la ventaja adicional de contener reseñas en varios idiomas. Además, el conjunto de datos de Amazon proporciona reseñas etiquetadas como "falsas" o sesgadas. Debido a su tamaño y complejidad, el conjunto de datos de Amazon permite el desarrollo de modelos de sentimiento más sofisticados. El conjunto de datos de Amazon ofrece además una mayor utilidad, dado que la predicción del rendimiento del producto a través del modelado de sentimientos es un componente crítico para el lanzamiento de productos modernos.

Limitaciones en la aplicabilidad de los conjuntos de datos de análisis de sentimiento de IMDB y Amazon

Por mucho tiempo y esfuerzo que ahorren estas bases de datos a la hora de entrenar modelos de sentimiento, no están exentas de limitaciones. Dada la naturaleza cuantitativa de las reseñas, aplicar los modelos entrenados con estas bases de datos a opiniones cualitativas, como los tuits, conlleva una pérdida de precisión. Además, en el caso de la base de datos IMBD, las opiniones son muy subjetivas en función de las preferencias de los espectadores, lo que puede sesgar los resultados. Del mismo modo, en el caso de la base de datos de Amazon, las opiniones sesgadas o "falsas" son habituales. Otra complicación de cualquier base de datos de opiniones es la incapacidad innata del modelo para reconocer el sarcasmo, que puede ser común entre las opiniones.

Además, las palabras clave (características) encontradas durante el proceso de formación son limitadas cuando se trabaja con reseñas. Las reseñas suelen ser repetitivas y contener un subconjunto limitado de términos clave. Además, las reseñas contienen algunos términos que no son habituales en las opiniones normales, como "banda sonora débil". Debido a la singularidad de algunos de los términos clave y a la falta de diversidad de términos clave, la aplicación de modelos de sentimiento entrenados en estas bases de datos puede conducir a resultados subóptimos. Por ejemplo, si una empresa quiere utilizar un modelo de sentimiento para predecir la reacción a un cambio de política, un modelo entrenado en una base de datos de opiniones tendría problemas con esta predicción, dado que la reacción no será una evaluación cuantitativa de un producto.

En resumen, los modelos de sentimiento son una potente herramienta para las empresas modernas, y estos modelos requieren un gran conjunto de datos de análisis de sentimiento para su entrenamiento. Las bases de datos de reseñas de IMDB y Amazon son dos bases de datos de sentimiento comunes y de fácil acceso que son populares para el entrenamiento de modelos de sentimiento. Aunque proporcionan una herramienta útil para el entrenamiento de modelos de sentimiento, estos conjuntos de datos vienen con advertencias que deben tenerse en cuenta.

¿Le interesa saber más sobre el caso de uso ML de Skim AI? Más información aquí.