Étiquette : fine tune

28 décembre 2020 Greggory Elias

Tutoriel : Comment affiner BERT pour un résumé extractif Publié à l'origine par Chris Tran, chercheur en apprentissage automatique chez Skim AI 1. Introduction Le résumé est depuis longtemps un défi dans le traitement du langage naturel. Pour générer une version courte d'un document tout en conservant ses informations les plus importantes, nous avons besoin d'un modèle capable d'extraire avec précision les points clés...

29 avril 2020 Greggory Elias

SpanBERTa : Comment nous avons entraîné le modèle linguistique RoBERTa pour l'espagnol à partir de zéro Publié à l'origine par Chris Tran, stagiaire en recherche sur l'apprentissage automatique chez Skim AI. spanberta_pretraining_bert_from_scratch Introduction¶ Les méthodes d'auto-entraînement avec des modèles de transformateurs ont atteint des performances de pointe pour la plupart des tâches de NLP. Cependant, comme leur entraînement est coûteux en temps de calcul, la plupart des modèles de transformation pré-entraînés actuellement disponibles ne concernent que l'anglais. Par conséquent,...

15 avril 2020 Greggory Elias Il n'y a pas de commentaires

Tutoriel : Réglage fin de BERT pour l'analyse des sentiments Publié à l'origine par Chris Tran, chercheur en apprentissage automatique chez Skim AI. BERT_for_Sentiment_Analysis A - Introduction¶ Au cours des dernières années, la communauté NLP a vu de nombreuses percées dans le traitement du langage naturel, en particulier le passage à l'apprentissage par transfert. Des modèles comme ELMo, ULMFiT de fast.ai, Transformer et GPT d'OpenAI ont permis aux chercheurs d'atteindre...