タグ: fine tune

12月 28, 2020 グレゴリー・エリアス

チュートリアルはじめに 要約化は、自然言語処理における長年の課題である。文書の最も重要な情報を保持しながら短いバージョンを生成するには、重複する情報を避けながら重要なポイントを正確に抽出できるモデルが必要である。幸いなことに、Transformerモデルや言語モデルのプリトレーニングなど、最近の自然言語処理における研究が要約の最先端を進んでいる。本稿では、Text Summarization with Pretrained Encoders (Liu et al., 2019)から、抽出的要約のためのBERTの単純な変形であるBERTSUMを探求する。そして、抽出的要約のための...

4月 29, 2020 グレゴリー・エリアス

SpanBERTa:Spanberta_pretraining_bert_from_scratchはじめに¶変換モデルを使った自己学習法は、ほとんどの自然言語処理タスクで最先端の性能を達成している。しかし、変換モデルの学習には計算コストがかかるため、現在利用可能な事前学習済み変換モデルのほとんどは英語のみを対象としている。そこで、私たちのプロジェクトでスペイン語のNLPタスクのパフォーマンスを向上させるために、Skim AIの私のチームは、スペイン語用のRoBERTa言語モデルをゼロから訓練し、SpanBERTaと呼ぶことにしました。SpanBERTaはRoBERTa-baseと同じサイズである。我々はRoBERTaの学習スキーマに従い、18GBのOSCARのスペイン語コーパスでモデルを学習した。

4月 15, 2020 グレゴリー・エリアス コメントはありません

チュートリアルセンチメント分析のためのBERTの微調整 元々はSkim AIの機械学習研究者、クリス・トランによって発表されました。BERT_for_Sentiment_Analysis A - はじめに¶ 近年、NLPコミュニティは自然言語処理、特に転移学習への移行において多くのブレークスルーを見てきました。ELMo、fast.aiのULMFiT、Transformer、OpenAIのGPTのようなモデルは、研究者が複数のベンチマークで最先端の結果を達成することを可能にし、高性能で大規模な事前学習済みモデルをコミュニティに提供しました。NLPにおけるこのシフトは、数年前のコンピューター・ビジョンにおけるNLPのImageNetの瞬間のようなもので、特定のタスクで訓練された百万単位のパラメーターを持つディープ・ラーニング・ネットワークの低レイヤーが再利用され...