プログラマの雑談部屋 ★309

■ このスレッドは過去ログ倉庫に格納されています
1仕様書無しさん
垢版 |
2023/12/10(日) 15:10:15.83
雑談スレ

前スレ
プログラマの雑談部屋 ★308
https://medaka.5ch.net/test/read.cgi/prog/1701118338
2023/12/14(木) 12:34:43.55
投資家に夢を見させて金引っ張れる力が大事
孫さんなんてゾッコンだろ
2023/12/14(木) 12:38:45.86
>>204
BardはChatGPTを蒸留してるらしいねえ
ずるいねえ
2023/12/14(木) 12:40:27.15
>>207
世界とはここまで差がついてるんだなと愕然としたよ
2023/12/14(木) 13:05:27.92
>>204
いかに少ないデータからモデル生成するのが最近の傾向なのを知らないんだね
2023/12/14(木) 13:36:45.99
スモールデータ
213仕様書無しさん
垢版 |
2023/12/14(木) 13:40:18.02
そもそも機械学習で過学習ってのもある訳で…

テレビの視聴率を調査するのに調査機器が何件設置されてると思ってるのか
実は結構少ないけどコレで大体合ってるのが統計学な訳で…

無能多過ぎw
2023/12/14(木) 13:42:45.48
>>211
そりゃ少ないデータから良い精度のモデルができたら苦労はしねえよ
2023/12/14(木) 13:43:38.43
これをやられるとどんどんばかになる
2023/12/14(木) 13:44:13.65
徹底して失敗に誘導された
2023/12/14(木) 13:45:06.27
だめだ
2023/12/14(木) 13:47:43.29
>>211
だからそれが蒸留でしょ
精度の高いモデルを利用できる場合はそれがベスト
ChatGPTもGPT-4を蒸留して生まれたことはマイクロソフトがバラした
蒸留の意味わかってる？
2023/12/14(木) 13:50:48.53
わかりません
2023/12/14(木) 13:54:09.88
そのうちアイドルの写真を見せるだけで、そのアイドル主演のAV動画が自動生成されるようになるかもな
2023/12/14(木) 13:55:33.12
俺たちは生まれてくるのが早過ぎたんだ
2023/12/14(木) 13:57:46.20
マジでプログラマの仕事が無くなるのが既定路線になったな
他の仕事探そ
2023/12/14(木) 13:59:18.25
×プログラマ
○人間
2023/12/14(木) 14:10:30.87
AIもテストコードを書くようになるんかな
2023/12/14(木) 14:16:09.15
AI学生の頃やってたのに
やってたのに
2023/12/14(木) 14:34:50.52
意味のあることとか成功につながることとか
そういうのはいつも自分の手をするっとすり抜けていく
2023/12/14(木) 14:36:31.92
>>218
訳のわからない話をするなよ
ここは底辺が集うスレ
まともな話ができるとは思わないように
2023/12/14(木) 14:38:15.99
脳回線が何度でもつなぎなおせるならいいんだが
もう生き残ってる細胞が少ない気がする
2023/12/14(木) 14:38:57.81
大脳新皮質の上に脳細胞が詰まったフィルター乗っけて
頭がよくなったりせんかな？
2023/12/14(木) 14:44:02.91
うだうだ愚痴ってないでトラックに轢かれてリセットしろ
2023/12/14(木) 14:44:52.25
親より早く死にそう
2023/12/14(木) 14:47:14.09
>>218
ムスレへカエレ
2023/12/14(木) 14:47:42.79
>>232
この屁理屈っぽい言い方は確実にムスレだな
2023/12/14(木) 14:48:52.12
>>218
つまりなにか
Microsoftは４を最初から持ってたって言ってる？
2023/12/14(木) 14:52:35.34
>>234
いや持ってるも何も出資してるんだからいくらでも使える状態だろう
一度GPT-4みたいに精度の良いモデルを作ってしまえば
(この部分は初期投資として金はかかる)
後はそのモデルを使って蒸留すればパラメータ数もデータも少なくても同等の精度が出せるんだよ
これは論文が出てるからある程度間違いがない事実
そうすればクラウドのコストも下がるし
勝ち組がどんどん勝つ世界になってきてる
まさに資本主義だよ
2023/12/14(木) 14:54:37.68
３．５が４からできたって聞こえる
2023/12/14(木) 14:55:51.54
アルトマンの振る舞いとか
他がChatGPTほど性能でないのってつまり
最初から
2023/12/14(木) 14:56:18.83
蒸留ではないよ
アルゴリズムだけで最小データからモデル生成するんだよ
リアルタイムに近づけるにはそれしかない

もう帰れ
2023/12/14(木) 14:58:10.52
>>236
それはわからんけど論文読む限りモデルは同じでパラメータ数だけが違うみたいだから
ゼロからやってるんじゃないの
2023/12/14(木) 14:58:43.74
>>238
プw
2023/12/14(木) 15:00:54.00
GPT-4は推論だけでも複数ノードかつマルチGPUが必要とされてるし
コストはバカにならんからね
2023/12/14(木) 15:05:35.77
あるときからMSがOSの管理ほっぽらかして
コルタナとか怪しげなデータ収集とか
そういうことばっかりするようになった
GPT４作ってたんちゃうか
2023/12/14(木) 15:05:44.13
俺らはもう強制収容所で1日8時間働かされてその後は家に強制的に送還される未来しか残されていないんだよ
2023/12/14(木) 15:07:38.92
うわべが現実と違いすぎてゲロ吐きそう
2023/12/14(木) 15:11:58.16
実態は巨大なAIの学習情報提供してもらったってことなんだろな
2023/12/14(木) 15:12:58.13
うわべや現実なんて気にせんほうがええで
適当が一番
2023/12/14(木) 15:29:42.24
Windows10以降を使っているということは「ディスク上のコンテンツ」を
マイクロソフトが収集することに同意しているということだからなあ
Win10が出た当時かなり話題になってたが
2023/12/14(木) 15:43:07.67
windowsに顧客情報を入力すると顧客情報の社外持ち出しに
なり懲戒処分になる
2023/12/14(木) 15:50:52.66
まずい時代になった
2023/12/14(木) 16:10:37.38
あたまいたいのがなおらない
2023/12/14(木) 16:21:04.98
コロンビア大のロボットの動作Diffusion研究チームが中国人だらけな事に日本の衰退を見る

Diffusion Models for Robotics Control
https://diffusion-policy.cs.columbia.edu
2023/12/14(木) 16:23:48.40
日本は本当になにもできないな
2023/12/14(木) 16:24:36.22
ドイツフランスのように
抑圧されてどんどんばかになっていく
いじめられるのが仕事
2023/12/14(木) 16:28:54.15
>>250
バファリンかロキソニン飲め
2023/12/14(木) 16:29:37.49
何もできない
政治は腐敗
マジで賢い奴は日本にいないよ
本当飯だけの国
2023/12/14(木) 16:30:50.71
>>253
ドイツにはGNPでも負けそうだぞ
2023/12/14(木) 16:33:08.18
Next.jsからCMSにする国
2023/12/14(木) 16:45:49.08
蒸留についてはこの説明がすげーシンプルでわかりやすいので覚えておけ
もちろんバリエーションは無限だしその分野だけで研究が成立するから本当の基本の基本だが
https://zero2one.jp/ai-word/distillation/
259仕様書無しさん
垢版 |
2023/12/14(木) 16:50:01.90
>>255
Hentaiを忘れるな
260仕様書無しさん
垢版 |
2023/12/14(木) 16:52:18.59
>>257
国として開発言語とかフレームワークを指定して無いからじゃね
あくまでも欲しい機能を挙げただけで入札業者の質やろ
2023/12/14(木) 17:05:43.02
砂になりたい
2023/12/14(木) 17:09:19.79
かしこくなりたかった
どんなに学習しても
根本的に脳のスペックが足りてない
2023/12/14(木) 17:21:22.70
うちの会社は未だにPCのネット接続禁止(イントラのみ可)だからAIに侵食されることはなさそうだな
会社ごと無くなるかもしれん
2023/12/14(木) 17:31:24.21
ドル円が141円で草
2023/12/14(木) 17:42:36.60
>>213
ただ、人間のノウモカテゴリーに分けたり、判断ベースの推測は遺伝子に刻まれた学習結果や記憶からの統計的な推測とかとも言えるのよね

脳科学や心理学なんかは、統計的な考え方で人の心や脳を捉えようとしたりもするらしいし
2023/12/14(木) 17:43:22.83
なんかプログラマーらしいスレになったな
参考にする
2023/12/14(木) 17:52:25.80
>>266
プログラマーではないキチガイが混ざってるから気をつけなされ
2023/12/14(木) 18:27:16.04
ちな蒸留はかなり昔からあるテクニックだけどtransformers以降精度が劇的に上がったので
蒸留の技術も必然的に有用になったというわけ
後もう一つ最近流行ってるモデル最適化は量子化
量子化は分野によって結構意味が違うが深層学習においては
パラメータの32ビットの浮動小数点数を8ビットの整数に置き換える技術
こうすることでモデルのサイズを劇的に減らすことができる
さらに個人のマシンでも実行可能なようにできる
2023/12/14(木) 18:30:47.68
>>260
デジタル庁のスタッフがHTMLわからんし
ReactのタグもわからんからCMSにしろとか言う声が上がったのは容易に想像できる
お前らデジタル庁だろう勉強しろよって思うが
2023/12/14(木) 18:31:55.48
>>268
サイズを単純計算で1/4にできるのか
ほえー
精度とか下がらんのけ？
2023/12/14(木) 18:32:45.47
>>263
いまだにそういう会社あるんだな
何をビビってるのか知らんが
2023/12/14(木) 18:34:20.78
>>255
飯もそれぞれの国のミシュラン三つ星の数を考えると
トップどころは全部海外だしねえ
273仕様書無しさん
垢版 |
2023/12/14(木) 18:35:24.58
>>271
核とか扱ってるんじゃね
2023/12/14(木) 18:37:06.56
ということはマイクロソフトはGPT-4のモデルを使うためにOpenAIに出資をしたと？
そして今蒸留や濾過が完了したから搾りかすはもうイラネということ？
2023/12/14(木) 18:37:22.06
半精度のさらに半精度つてこと？
それってどうなの？
2023/12/14(木) 18:38:07.16
>>273
何をそんなに恐れているんだか
そしてその制限について社員が何も言わないのも不気味
不便じゃないのか？
277仕様書無しさん
垢版 |
2023/12/14(木) 18:39:46.85
>>272
そもそもフランス発祥だからね
期間的なものもそうだし味の基準もね

ちなみに海外行って三つ星レストラン行っても日本人からすると美味く無いぞ
クドイ味付けが多い
ただしコレはワインを飲む事で調和が取れる前提ってだけ　　　
2023/12/14(木) 18:40:23.95
>>275
float32からint8に変換だよ
たったの8ビット
変換の式はいろいろあるがモデルの精度が落ちないようにさまざまなものがある
これだけでも１つの研究になるレベル
279仕様書無しさん
垢版 |
2023/12/14(木) 18:41:33.20
>>276
とは言うけど一部の部屋とか場所ではセキュリティ面でスタンドアロンのって珍しく無いからなぁ
280仕様書無しさん
垢版 |
2023/12/14(木) 18:42:08.82
>>274
寧ろMSはOpenAI買収したい
2023/12/14(木) 18:42:57.26
ちなみにint8は直接ハードウェアでサポートするプロセッサも増えている
それこそがTPU
GoogleやNVIDIAが開発している専用プロセッサだ
こいつらはGPUではないがint8演算がチョッパヤだったりする
だから流行っている
どうかな？
もう日本がついていけるレベルじゃない
2023/12/14(木) 18:46:11.70
>>281
おもしれー
int8演算に回帰してるのが面白いな
となるとその分野って日本でも全然通用する気がするのだけどな
ほんとゴテゴテに回っとるな
2023/12/14(木) 18:48:38.53
>>277
イタリアンも海外は薄味だもんな
基本的に素材中心で塩味だから日本人が食うと物足りない
2023/12/14(木) 18:51:56.25
>>282
スパコンの富岳はint8ベクトル演算をサポートしているからね
日本はやれるはずなのだ
2023/12/14(木) 18:54:06.52
無駄な精度まで計算しないのは数学的に常識では？
周りにいるプログラマのレベルだけを見てできるできないの判断するのは精度落としすぎだと思いますよ
2023/12/14(木) 18:55:38.48
俺達　できる
ジャップ　できない
頭２ビット
2023/12/14(木) 18:56:06.08
>>285
数値計算の分野では常識だったけどね
一昔前までGPUがfloat32しかサポートしてなかった歴史的経緯が大きい
界隈にいるとわかるけど深層学習は数値計算の中でははぐれもの扱いなんだよね
2023/12/14(木) 18:58:01.03
外国企業がよりつかなくなったらまた円下がる
2023/12/14(木) 18:58:39.71
intで小数を作って管理したらいいだけの話だろ
2023/12/14(木) 19:00:01.80
富岳はちょっと前まで民間が利用できないという謎の縛りがあった
恐ろしいことだよ
もう何がしたいのかわからない
2023/12/14(木) 19:02:08.69
衰退させたいんだよ
2023/12/14(木) 19:04:58.10
民間（よくわからん組織）に使わせたくないだけでは？
スパイ防止法もないんだから
2023/12/14(木) 19:18:13.74
>>292
単にメンツだと思うよ
偉そうにしたいんだよお役所は
2023/12/14(木) 19:18:33.48
民間に発注してるくせにな
2023/12/14(木) 19:23:43.80
老害 石頭 お役所仕事
2023/12/14(木) 19:28:37.03
>>278
凄いな
普通に考えたら、2の32乗が2の8乗
2の16乗で6万4千倍の圧縮みたいなもんでしょ

それで変わらんのはすごい
2023/12/14(木) 19:33:42.40
そんなに減らして大丈夫なら１ビットでもいけんじゃねとおもった
2023/12/14(木) 19:39:39.73
なぜそんなに減らして良いのかというと
パラメータを調べたらほとんどか同じ範囲に分布してるのがわかったらしい
だからその範囲内でうまく変換してやると
頭の良い人が考えることはすげーわ
299仕様書無しさん
垢版 |
2023/12/14(木) 19:40:52.13
>>286
１ビットだな
2023/12/14(木) 19:42:40.13
細胞の数は減らさずに演算だけ簡略化したの？
301仕様書無しさん
垢版 |
2023/12/14(木) 19:47:39.01
Next.jsに案件に入って、PHPとjQueryにするからって言われたら辞めるわ
2023/12/14(木) 19:48:43.09
>>298
画像や音の圧縮みたいなイメージなんかね
大体似たパターンになるような
2023/12/14(木) 19:49:57.92
まあ、日本と言うよりかは利権を放置するとこうなるって話よな
古今東西、利権はどんどん肥えて暴走する
まあ、そろそろ風船の破裂の時が来てもおかしくないので、引き際を見極めないと面倒なことにはなりそう
2023/12/14(木) 19:53:38.86
人間利権が拡大しすぎたので
自分が不要だと思う人は世界から去ってください
2023/12/14(木) 19:58:03.99
>>302
画像や音に比べると見え方がわかりにくいけど
構造的には同じなんだろうね
だからtransformersで画像も自然言語も同じように処理できると
2023/12/14(木) 20:00:09.82
マジでtransformersは人類史上とんでもないものを解き明かしたのかも知れん
2023/12/14(木) 20:17:33.28
なんかAIのせいで人間の存在意義がどんどん薄くなってる気がする
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況