Etiqueta: fine tune

28 de diciembre de 2020 Greggory Elias

Tutorial: How to Fine-Tune BERT for Extractive Summarization Publicado originalmente por Chris Tran, investigador de aprendizaje automático de Skim AI 1. Introducción La síntesis ha sido durante mucho tiempo un reto en el procesamiento del lenguaje natural. Para generar una versión abreviada de un documento conservando su información más importante, necesitamos un modelo capaz de extraer con precisión los puntos clave...

29 de abril de 2020 Greggory Elias

SpanBERTa: How We Trained RoBERTa Language Model for Spanish from Scratch Publicado originalmente por Chris Tran, becario de investigación en aprendizaje automático de Skim AI. spanberta_pretraining_bert_from_scratch Introducción¶ Los métodos de autoentrenamiento con modelos transformadores han alcanzado un rendimiento puntero en la mayoría de las tareas de PLN. Sin embargo, dado que su entrenamiento es costoso desde el punto de vista computacional, la mayoría de los modelos de transformador preentrenados disponibles en la actualidad sólo sirven para el inglés. Por lo tanto,...

15 de abril de 2020 Greggory Elias No hay comentarios

Tutorial: Ajuste fino de BERT para análisis de sentimiento Publicado originalmente por el investigador de aprendizaje automático de Skim AI, Chris Tran. BERT_for_Sentiment_Analysis A - Introducción¶ En los últimos años la comunidad NLP ha visto muchos avances en el Procesamiento del Lenguaje Natural, especialmente el cambio hacia el aprendizaje por transferencia. Modelos como ELMo, ULMFiT de fast.ai, Transformer y GPT de OpenAI han permitido a los investigadores...