プログラマの雑談部屋 ★272

■ このスレッドは過去ログ倉庫に格納されています
1仕様書無しさん
垢版 |
2023/04/07(金) 23:12:53.70
雑談スレ

前スレ
プログラマの雑談部屋 ★271
https://medaka.5ch.net/test/read.cgi/prog/1680438590/
2023/04/07(金) 23:45:43.95
てきとうな仕事をするから次につながらないのだが
夢中になって職務とずれたことやってると
作業の説明ができない
2023/04/08(土) 16:06:43.51
よくわからないけど動いてればおk
2023/04/08(土) 16:49:11.76
てすと
2023/04/08(土) 16:49:33.31
平日と違ってプログラム関係の話が多いな、ここも
2023/04/08(土) 16:56:14.72
結局リプレースするもんな
7仕様書無しさん
垢版 |
2023/04/08(土) 16:58:47.92
おれは色々吟味し案件を選択した結果、しょぼい案件ばかり
2023/04/08(土) 17:00:25.41
前スレの後半にtransformers本の話題で盛り上がったみたいだが
やはりほとんどのやつが理解できていないようだ
あの本が定義してるのは今後機械学習エンジニアがやる仕事を先読みして紹介してることにある
あの本は研究者向けの本じゃないのよ
つまりあの本を理解してることが最低限求められる
そしてあの書いてあること以外はドカタの仕事だよ、と言ってる
transformersの未来って章がそれを示してる
2023/04/08(土) 17:02:21.07
ちなみにこの本にはtransformersをゼロから学習するというこれからの機械学習エンジニアのメインタスクとなる仕事も紹介している
俺はこの仕事が今後のメインになると踏んでる
2023/04/08(土) 17:06:30.05
あとtransformersの理解がろくにできてなかったのでここで解説しておく
数式だけ見て理解できたとは思わない方が良い
まずtransformersは
「コンテキストのトークン同士の関係だけ理解すれば
あらゆるタスクを予測できる」
ということを示しているのよ
まずこの部分をちゃんと理解できてない人が多い
これは実際驚くべきことだ
この点においてセルフアテンションはソースターゲットアテンションとは全く別物だと理解すべき
ソースターゲットアテンションはは別のコンテキストを必要とするからね
2023/04/08(土) 17:09:05.93
チェーンジゲッターワンっ！
12仕様書無しさん
垢版 |
2023/04/08(土) 17:09:10.72
OCHA NORMA｜ハロー！プロジェクト　オフィシャルサイト
http://www.helloproject.com/ochanorma/
2023/04/08(土) 17:11:04.54
そしてtransformersは自身のベクトルをコンテキスト内の他のトークンとの関係で重みつけしたベクトルに「変換」する
自分自身を他者との関係によってより良いベクトルに「変換」するのよ
これがtransformersという名前の元になってるのだろう
transformersは入力と出力の次元が同じなのはそういうこと
そしてこの変換は予測タスクによって最適な変換となる
恐るべき技術だ
なにせ予測するためにはコンテキスト以外他に何も必要としないんだから
2023/04/08(土) 17:11:28.09
これは従来の自然言語処理を完全にぶっ壊したと思う
2023/04/08(土) 17:13:22.81
もうこれについてこれない自然言語処理研究者は本当に涙目だよ
俺は昔その道に入りかけたんだけど就職して良かったと感じる
2023/04/08(土) 17:19:31.44
>>13
セルフアテンションが全てを変えたなー
最初にこの論文を読んだ時なんだこれは？って思ったもん
なんで自分自信と他者との関係だけで全部決まるんだ？って
言語ってその程度のものだったのかって

世界は決定的に頭の良い少人数の集団が世界を変えるんだと改めて思った
アインシュタインしかりフォンノイマンしかり
2023/04/08(土) 17:22:06.96
で、年収はいくらなの？
2023/04/08(土) 17:23:17.69
消費税は100万以上払った
これで察してくれ
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況