Позначка: Берт

29 грудня 2020 року Григорій Еліас Немає коментарів

Підручник: Як з нуля навчити ELECTRA іспанської з нуля Вперше опубліковано дослідником машинного навчання Skim AI, Крісом Траном. Вступ Ця стаття про те, як підготувати ELECTRA, ще одного члена сімейства методів попереднього навчання Transformer, до іспанської мови, щоб досягти найкращих результатів у тестах на обробку природної мови. Це третя частина серії статей про підготовку...

28 грудня 2020 року Григорій Еліас Немає коментарів

Підручник: Як налаштувати BERT для NER Вперше опубліковано дослідником машинного навчання Skim AI, Крісом Траном. Вступ Ця стаття про те, як налаштувати BERT для розпізнавання іменованих об'єктів (NER). Зокрема, про те, як навчити варіацію BERT, SpanBERTa, для NER. Це друга частина третьої серії статей про навчання користувацької мови BERT...

28 грудня 2020 року Григорій Еліас

Підручник: Як налаштувати BERT для екстрактивного конспектування Вперше опубліковано дослідником машинного навчання Skim AI, Крісом Траном 1. Вступ Конспектування вже давно є складною задачею в обробці природної мови. Щоб створити коротку версію документа, зберігши найважливішу інформацію, нам потрібна модель, здатна точно виокремити ключові моменти...

Липень 27, 2020 Григорій Еліас Немає коментарів

Генерація природної мови та її застосування в бізнесі Генерація природної мови (NLG) Продовжуючи досліджувати тему авторських новин і новин, створених роботами, варто розглянути деякі технології, що лежать в основі цих алгоритмів. ШІ, призначений для створення документів, які читаються так, ніби їх написала людина, покладається на алгоритми генерації природної мови (Natural Language Generation, NLG). Алгоритми NLG - це...

29 квітня 2020 року Григорій Еліас

SpanBERTa: Як ми з нуля навчили мовну модель RoBERTa для іспанської мови Вперше опубліковано дослідником машинного навчання Skim AI Крісом Трэном. spanberta_pretraining_bert_from_scratch Вступ¶ Методи самонавчання за допомогою моделей-трансформерів досягли найсучасніших результатів у виконанні більшості завдань НЛП. Однак, оскільки їхнє навчання вимагає значних обчислювальних витрат, більшість доступних на даний момент моделей-трансформерів доступні лише для англійської мови. Тому...

15 квітня 2020 року Григорій Еліас Немає коментарів

Підручник: Тонке налаштування BERT для аналізу настроїв Вперше опубліковано дослідником машинного навчання Skim AI, Крісом Траном. BERT_для_аналізу_почуттів A - Вступ¶ Останніми роками спільнота НЛП побачила багато проривних ідей в обробці природної мови, особливо перехід до навчання з переносним навчанням. Такі моделі, як ELMo, ULMFiT від fast.ai, Transformer та GPT від OpenAI, дозволили дослідникам досягти...