Cosa si deve sapere prima di scegliere un
Set di dati per l'analisi del sentimento

    
Perché è necessario un dataset di sentiment analysis per l'addestramento?
I modelli di sentiment sono un tipo di algoritmo di elaborazione del linguaggio naturale (NLP) che determina la polarità di un testo. In altre parole, un modello di sentiment predice se l'opinione espressa in un testo è positiva, negativa o neutra. Questi modelli forniscono un potente strumento per ottenere approfondimenti su grandi insiemi di dati basati sulle opinioni, come i post sui social media e le recensioni dei prodotti. Ad esempio, un venditore sul mercato di Amazon può utilizzare un modello di sentiment per valutare rapidamente migliaia di recensioni e valutare la soddisfazione dei clienti per i suoi prodotti. I modelli di sentiment possono anche essere utilizzati per prevedere le recensioni di un nuovo prodotto, confrontando i metadati del prodotto con prodotti simili e analizzando le recensioni di questi ultimi.

Come tutti gli algoritmi di apprendimento automatico, i modelli di sentiment richiedono grandi insiemi di dati di addestramento etichettati per essere sviluppati e messi a punto, chiamati anche dataset di sentiment analysis di addestramento. Il primo passo nello sviluppo del modello richiede un set di dati di sentiment analysis composto da decine di migliaia di affermazioni già etichettate come positive, negative o neutre. Trovare dati di addestramento è difficile, perché un esperto umano deve determinare ed etichettare la polarità di ogni affermazione nei dati di addestramento. Disporre di un set di dati di addestramento già pronto ed etichettato riduce notevolmente il tempo e lo sforzo necessari per sviluppare un modello di sentiment. Due di questi dataset di sentiment frequentemente utilizzati per l'addestramento sono i database di Internet Movie Database (IMDB) e di recensioni di Amazon.

Set di dati primari per l'addestramento: Database di recensioni IMDB e Amazon

I database di recensioni di IMDB e Amazon sono quasi ideali per l'addestramento dei modelli di sentiment (per maggiori informazioni sui loro limiti si veda il seguito), in quanto si tratta di set di dati già pronti di sentimenti facilmente etichettabili. La polarità di queste recensioni può essere determinata segmentando le recensioni in base al punteggio. Per il database IMBD, le recensioni da 0 a 3 stelle sono tipicamente considerate negative, da 4 a 6 stelle neutre e da 7 a 10 stelle positive. Analogamente, per le recensioni su Amazon, 1-2 stelle sono negative, 3 stelle sono neutre e 4-5 stelle sono positive. Tuttavia, il database delle recensioni di Amazon non è così popolare, poiché una valutazione da 1 a 5 non ha la fedeltà di un sistema da 1 a 10 e il set di dati di Amazon è più complesso e quindi più difficile da usare.

Il database IMDB è stato utilizzato in numerosi studi accademici, tutorial e codici open-source. Il dataset IMDB standard contiene 50.000 recensioni, con un numero pari di recensioni positive e negative. In generale, il database IMDB è più popolare di quello Amazon, in quanto fornisce un set di dati più piccolo e più facile da manipolare. Il dataset IMDB è un potente strumento per sviluppare le competenze necessarie per andare a sviluppare modelli di sentiment più avanzati.

Il dataset di recensioni di Amazon presenta i vantaggi della dimensione e della complessità. Amazon ha raccolto recensioni per oltre 20 anni e offre un set di dati con oltre 130 milioni di sentimenti etichettati. Il dataset di Amazon offre anche l'ulteriore vantaggio di contenere recensioni in più lingue. Il dataset di Amazon fornisce inoltre recensioni etichettate come "false" o tendenziose. Grazie alle sue dimensioni e alla sua complessità, il dataset Amazon consente di sviluppare modelli di sentiment più sofisticati. Il dataset Amazon offre inoltre una maggiore utilità, dato che la previsione delle prestazioni dei prodotti attraverso la modellazione del sentiment è una componente critica per il rilascio di prodotti moderni.

Limitazioni nell'applicabilità dei dataset IMDB e Amazon Sentiment Analysis

Per quanto questi database consentano di risparmiare tempo e fatica per l'addestramento dei modelli di sentiment, non sono privi di limiti. Data la natura quantitativa delle recensioni, l'applicazione dei modelli addestrati con questi database a opinioni qualitative, come i tweet, comporta una perdita di accuratezza. Inoltre, per il database IMBD, le recensioni sono altamente soggettive rispetto alle preferenze degli spettatori, il che può falsare i risultati. Allo stesso modo, per il database di Amazon, le recensioni parziali o "false" sono comuni. Un'ulteriore complicazione di qualsiasi database di sentiment è l'incapacità innata del modello di riconoscere il sarcasmo, che può essere comune tra le recensioni.

Inoltre, le parole chiave (caratteristiche) trovate durante il processo di formazione sono limitate quando si lavora con le recensioni. Le recensioni tendono spesso a essere ripetitive e a contenere un sottoinsieme limitato di termini chiave. Inoltre, le recensioni contengono alcuni termini che non sono comuni nelle normali dichiarazioni di opinione, come "colonna sonora debole". A causa dell'unicità di alcuni termini chiave e della mancanza di diversità dei termini chiave, l'applicazione di modelli di sentiment addestrati su questi database può portare a risultati non ottimali. Ad esempio, se un'azienda vuole usare un modello di sentiment per prevedere la reazione a un cambiamento di politica, un modello addestrato su un database di recensioni avrebbe difficoltà a fare questa previsione, dato che la reazione non sarà una valutazione quantitativa di un prodotto.

In sintesi, i modelli di sentiment sono uno strumento potente per le aziende moderne, e questi modelli richiedono un ampio set di dati di analisi del sentiment per l'addestramento. I database delle recensioni di IMDB e Amazon sono due database di sentiment comuni e facilmente accessibili, molto utilizzati per l'addestramento dei modelli di sentiment. Pur rappresentando uno strumento utile per l'addestramento dei modelli di sentiment, questi database presentano degli aspetti negativi che devono essere presi in considerazione.

Interested in learning more about Skim AI's ML use case? Read about it qui.