月: 2020年4月

4月 29, 2020 グレゴリー・エリアス

SpanBERTa:Spanberta_pretraining_bert_from_scratchはじめに¶変換モデルを使った自己学習法は、ほとんどの自然言語処理タスクで最先端の性能を達成している。しかし、変換モデルの学習には計算コストがかかるため、現在利用可能な事前学習済み変換モデルのほとんどは英語のみを対象としている。そこで、私たちのプロジェクトでスペイン語のNLPタスクのパフォーマンスを向上させるために、Skim AIの私のチームは、スペイン語用のRoBERTa言語モデルをゼロから訓練し、SpanBERTaと呼ぶことにしました。SpanBERTaはRoBERTa-baseと同じサイズである。我々はRoBERTaの学習スキーマに従い、18GBのOSCARのスペイン語コーパスでモデルを学習した。

4月 15, 2020 グレゴリー・エリアス コメントはありません

チュートリアルセンチメント分析のためのBERTの微調整 元々はSkim AIの機械学習研究者、クリス・トランによって発表されました。BERT_for_Sentiment_Analysis A - はじめに¶ 近年、NLPコミュニティは自然言語処理、特に転移学習への移行において多くのブレークスルーを見てきました。ELMo、fast.aiのULMFiT、Transformer、OpenAIのGPTのようなモデルは、研究者が複数のベンチマークで最先端の結果を達成することを可能にし、高性能で大規模な事前学習済みモデルをコミュニティに提供しました。NLPにおけるこのシフトは、数年前のコンピューター・ビジョンにおけるNLPのImageNetの瞬間のようなもので、特定のタスクで訓練された百万単位のパラメーターを持つディープ・ラーニング・ネットワークの低レイヤーが再利用され...