Ce qu'il faut savoir avant de choisir un
Ensemble de données pour l'analyse des sentiments

    
Pourquoi avez-vous besoin d'un ensemble de données d'analyse des sentiments pour la formation ?
Les modèles de sentiment sont un type d'algorithme de traitement du langage naturel (NLP) qui détermine la polarité d'un texte. En d'autres termes, un modèle de sentiment prédit si l'opinion exprimée dans un texte est positive, négative ou neutre. Ces modèles constituent un outil puissant permettant d'obtenir des informations sur de vastes ensembles de données basées sur les opinions, telles que les messages des médias sociaux et les commentaires sur les produits. Par exemple, un vendeur sur la place de marché Amazon peut utiliser un modèle de sentiment pour évaluer rapidement des milliers d'avis et mesurer la satisfaction des clients à l'égard de ses produits. Les modèles de sentiment peuvent également être utilisés pour prédire les avis sur un nouveau produit en comparant les métadonnées du produit à des produits similaires et en analysant les avis sur ces produits.

Comme tous les algorithmes d'apprentissage automatique, les modèles d'analyse des sentiments nécessitent de vastes ensembles de données d'entraînement étiquetées pour être développés et mis au point, également appelés ensembles de données d'analyse des sentiments d'entraînement. La première étape du développement d'un modèle nécessite un ensemble de données d'analyse des sentiments composé de dizaines de milliers d'affirmations déjà étiquetées comme positives, négatives ou neutres. Il est difficile de trouver des données de formation, car un expert humain doit déterminer et étiqueter la polarité de chaque énoncé dans les données de formation. Le fait de disposer d'un ensemble de données de formation déjà étiquetées réduit considérablement le temps et les efforts nécessaires au développement d'un modèle de sentiment. Les bases de données de sentiments fréquemment utilisées pour la formation sont la base de données des films sur Internet (IMDB) et les bases de données d'avis d'Amazon.

Jeux de données d'entraînement primaires : Bases de données de commentaires IMDB et Amazon

Les bases de données de critiques IMDB et Amazon sont presque idéales pour l'apprentissage des modèles de sentiments (nous reviendrons plus loin sur leurs limites), car il s'agit d'ensembles de données prêts à l'emploi de sentiments facilement étiquetés. La polarité de ces critiques peut être déterminée en segmentant les critiques par score. Pour la base de données IMBD, les avis de 0 à 3 étoiles sont généralement considérés comme négatifs, de 4 à 6 étoiles comme neutres et de 7 à 10 étoiles comme positifs. De même, pour les commentaires d'Amazon, 1 à 2 étoiles sont négatives, 3 étoiles sont neutres et 4 à 5 étoiles sont positives. Cependant, la base de données des critiques Amazon n'est pas aussi populaire, car une évaluation de 1 à 5 n'a pas la fidélité d'un système de 1 à 10 et l'ensemble de données Amazon est plus complexe et donc plus difficile à utiliser.

La base de données IMDB a été utilisée dans un grand nombre d'études universitaires, de tutoriels et de codes open-source. L'ensemble de données IMDB standard contient 50 000 critiques, avec un nombre égal de critiques positives et négatives. En général, la base de données IMDB est plus populaire que la base de données Amazon, car elle fournit un ensemble de données plus petit et plus facile à manipuler. L'ensemble de données IMDB est un outil puissant pour développer les compétences nécessaires à l'élaboration de modèles de sentiments plus avancés.

L'ensemble de données d'évaluation d'Amazon présente l'avantage de la taille et de la complexité. Amazon compile des avis depuis plus de 20 ans et offre un ensemble de données de plus de 130 millions de sentiments étiquetés. L'ensemble de données Amazon présente également l'avantage de contenir des avis dans plusieurs langues. L'ensemble de données d'Amazon fournit en outre des avis étiquetés comme "faux" ou biaisés. En raison de sa taille et de sa complexité, l'ensemble de données Amazon permet de développer des modèles de sentiments plus sophistiqués. L'ensemble de données Amazon offre en outre une plus grande utilité, étant donné que la prédiction des performances d'un produit par le biais de la modélisation des sentiments est un élément essentiel de la mise sur le marché d'un produit moderne.

Limites de l'applicabilité des ensembles de données d'analyse de sentiments de l'IMDB et d'Amazon

Même si ces bases de données permettent d'économiser du temps et des efforts pour la formation de modèles de sentiments, elles ne sont pas sans limites. Étant donné la nature quantitative des critiques, l'application des modèles formés à l'aide de ces bases de données à des opinions qualitatives, telles que les tweets, entraîne une perte de précision. En outre, pour la base de données IMBD, les critiques sont très subjectives par rapport aux préférences des spectateurs, ce qui peut fausser les résultats. De même, pour la base de données Amazon, les avis biaisés ou "faux" sont fréquents. Une autre complication de toute base de données de sentiments est l'incapacité innée du modèle à reconnaître le sarcasme, qui peut être courant dans les commentaires.

En outre, les mots clés (caractéristiques) trouvés au cours du processus de formation sont limités lorsqu'il s'agit d'examens. Les critiques ont souvent tendance à être répétitives et à contenir un sous-ensemble limité de termes clés. En outre, les critiques contiennent des termes peu courants dans les avis habituels, tels que "weak soundtrack" (bande sonore faible). En raison du caractère unique de certains termes clés et du manque de diversité des termes clés, l'application de modèles de sentiments formés sur ces bases de données peut conduire à des résultats sous-optimaux. Par exemple, si une entreprise souhaite utiliser un modèle de sentiment pour prédire la réaction à un changement de politique, un modèle formé sur une base de données d'avis aura du mal à faire cette prédiction, étant donné que la réaction ne sera pas une évaluation quantitative d'un produit.

En résumé, les modèles de sentiments sont un outil puissant pour les entreprises modernes, et ces modèles nécessitent un grand ensemble de données d'analyse de sentiments pour la formation. Les bases de données de commentaires IMDB et Amazon sont deux bases de données de sentiments courantes et facilement accessibles qui sont populaires pour l'entraînement des modèles de sentiments. Bien qu'ils constituent un outil utile pour l'apprentissage des modèles de sentiments, ces ensembles de données présentent des inconvénients qu'il convient de prendre en compte.

Interested in learning more about Skim AI's ML use case? Read about it ici.