🐎BLOG🐎

Chat-GPT: プロンプト

pulished:
updated:

プロンプト

論文

単語抜粋

ポジショナルエンコーディング

処理対象の単語が文章のどこにあるかを把握する仕組み。こちらは意外とシンプルで、単語の位置により異なる値をエンベディックベクトルに足し算していく。


自己注意(Self-Attention)機構

データの流れ方自体を学習し決定するような方法である。もともとRNN向けに提案されたが、CNNなど他のニューラルネットワークにも利用されている。自己注意機構は強力であり機械翻訳、質問応答、画像生成など、多くの問題で最高精度を達成している。自分自身の途中の計算結果に注意し、そこから読み込むことからこの名がついている。

他:自己注意Self-Attention の解説でわかりやすいと思った記事N選(N=21)


順伝播型ネットワーク(フィードフォワードニューラルネットワーク) ->これはなんとなく覚えてる

層状に並べられたニューロンが隣接した層間でのみ結合した構造をしています。 左から右へと入力層から出力層へ一方向のみ伝播するニューラルネットワークです。

 参考