Місяць: Квітень 2020

29 квітня 2020 року Григорій Еліас

SpanBERTa: Як ми з нуля навчили мовну модель RoBERTa для іспанської мови Вперше опубліковано дослідником машинного навчання Skim AI Крісом Трэном. spanberta_pretraining_bert_from_scratch Вступ¶ Методи самонавчання за допомогою моделей-трансформерів досягли найсучасніших результатів у виконанні більшості завдань НЛП. Однак, оскільки їхнє навчання вимагає значних обчислювальних витрат, більшість доступних на даний момент моделей-трансформерів доступні лише для англійської мови. Тому...

15 квітня 2020 року Григорій Еліас Немає коментарів

Підручник: Тонке налаштування BERT для аналізу настроїв Вперше опубліковано дослідником машинного навчання Skim AI, Крісом Траном. BERT_для_аналізу_почуттів A - Вступ¶ Останніми роками спільнота НЛП побачила багато проривних ідей в обробці природної мови, особливо перехід до навчання з переносним навчанням. Такі моделі, як ELMo, ULMFiT від fast.ai, Transformer та GPT від OpenAI, дозволили дослідникам досягти...