タグ: tranformer

12月 29, 2020 グレゴリー・エリアス コメントはありません

チュートリアルELECTRAをゼロからスペイン語用に事前学習する方法 原文:Skim AIの機械学習研究者、Chris Tran.はじめに この記事では、自然言語処理ベンチマークで最先端の結果を達成するために、Transformer事前学習メソッドファミリーのもう一つのメンバーであるELECTRAをスペイン語用に事前学習する方法について説明します。これは、さまざまなユースケースのためのスペイン語のカスタム BERT 言語モデルのトレーニングに関するシリーズのパート III です:Part I: How to Train a RoBERTa Language Model for Spanish from Scratch Part II: How to Train a SpanBERTa Spanish Language Model for Named Entity Recognition (NER) 1.はじめに ICLR 2020では、ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators, a...