プログラマの雑談部屋 ★272

[1 仕様書無しさん 2023/04/07(金) 23:12:53.70]

雑談スレ

前スレ
プログラマの雑談部屋 ★271
https://medaka.5ch.net/test/read.cgi/prog/1680438590/

[2 仕様書無しさん 2023/04/07(金) 23:45:43.95]

てきとうな仕事をするから次につながらないのだが
夢中になって職務とずれたことやってると
作業の説明ができない

[3 仕様書無しさん 2023/04/08(土) 16:06:43.51]

よくわからないけど動いてればおk

[4 仕様書無しさん 2023/04/08(土) 16:49:11.76]

てすと

[5 仕様書無しさん 2023/04/08(土) 16:49:33.31]

平日と違ってプログラム関係の話が多いな、ここも

[6 仕様書無しさん 2023/04/08(土) 16:56:14.72]

結局リプレースするもんな

[7 仕様書無しさん 2023/04/08(土) 16:58:47.92]

おれは色々吟味し案件を選択した結果、しょぼい案件ばかり

[8 仕様書無しさん 2023/04/08(土) 17:00:25.41]

前スレの後半にtransformers本の話題で盛り上がったみたいだが
やはりほとんどのやつが理解できていないようだ
あの本が定義してるのは今後機械学習エンジニアがやる仕事を先読みして紹介してることにある
あの本は研究者向けの本じゃないのよ
つまりあの本を理解してることが最低限求められる
そしてあの書いてあること以外はドカタの仕事だよ、と言ってる
transformersの未来って章がそれを示してる

[9 仕様書無しさん 2023/04/08(土) 17:02:21.07]

ちなみにこの本にはtransformersをゼロから学習するというこれからの機械学習エンジニアのメインタスクとなる仕事も紹介している
俺はこの仕事が今後のメインになると踏んでる

[10 仕様書無しさん 2023/04/08(土) 17:06:30.05]

あとtransformersの理解がろくにできてなかったのでここで解説しておく
数式だけ見て理解できたとは思わない方が良い
まずtransformersは
「コンテキストのトークン同士の関係だけ理解すれば
あらゆるタスクを予測できる」
ということを示しているのよ
まずこの部分をちゃんと理解できてない人が多い
これは実際驚くべきことだ
この点においてセルフアテンションはソースターゲットアテンションとは全く別物だと理解すべき
ソースターゲットアテンションはは別のコンテキストを必要とするからね