Позначка: fine tune

28 грудня 2020 року Григорій Еліас

Підручник: Як налаштувати BERT для екстрактивного конспектування Вперше опубліковано дослідником машинного навчання Skim AI, Крісом Траном 1. Вступ Конспектування вже давно є складною задачею в обробці природної мови. Щоб створити коротку версію документа, зберігши найважливішу інформацію, нам потрібна модель, здатна точно виокремити ключові моменти...

29 квітня 2020 року Григорій Еліас

SpanBERTa: Як ми з нуля навчили мовну модель RoBERTa для іспанської мови Вперше опубліковано дослідником машинного навчання Skim AI Крісом Трэном. spanberta_pretraining_bert_from_scratch Вступ¶ Методи самонавчання за допомогою моделей-трансформерів досягли найсучасніших результатів у виконанні більшості завдань НЛП. Однак, оскільки їхнє навчання вимагає значних обчислювальних витрат, більшість доступних на даний момент моделей-трансформерів доступні лише для англійської мови. Тому...

15 квітня 2020 року Григорій Еліас Немає коментарів

Підручник: Тонке налаштування BERT для аналізу настроїв Вперше опубліковано дослідником машинного навчання Skim AI, Крісом Траном. BERT_для_аналізу_почуттів A - Вступ¶ Останніми роками спільнота НЛП побачила багато проривних ідей в обробці природної мови, особливо перехід до навчання з переносним навчанням. Такі моделі, як ELMo, ULMFiT від fast.ai, Transformer та GPT від OpenAI, дозволили дослідникам досягти...