プログラマの雑談部屋 ★309

■ このスレッドは過去ログ倉庫に格納されています
1仕様書無しさん
垢版 |
2023/12/10(日) 15:10:15.83
雑談スレ

前スレ
プログラマの雑談部屋 ★308
https://medaka.5ch.net/test/read.cgi/prog/1701118338
2023/12/14(木) 14:47:42.79
>>232
この屁理屈っぽい言い方は確実にムスレだな
2023/12/14(木) 14:48:52.12
>>218
つまりなにか
Microsoftは４を最初から持ってたって言ってる？
2023/12/14(木) 14:52:35.34
>>234
いや持ってるも何も出資してるんだからいくらでも使える状態だろう
一度GPT-4みたいに精度の良いモデルを作ってしまえば
(この部分は初期投資として金はかかる)
後はそのモデルを使って蒸留すればパラメータ数もデータも少なくても同等の精度が出せるんだよ
これは論文が出てるからある程度間違いがない事実
そうすればクラウドのコストも下がるし
勝ち組がどんどん勝つ世界になってきてる
まさに資本主義だよ
2023/12/14(木) 14:54:37.68
３．５が４からできたって聞こえる
2023/12/14(木) 14:55:51.54
アルトマンの振る舞いとか
他がChatGPTほど性能でないのってつまり
最初から
2023/12/14(木) 14:56:18.83
蒸留ではないよ
アルゴリズムだけで最小データからモデル生成するんだよ
リアルタイムに近づけるにはそれしかない

もう帰れ
2023/12/14(木) 14:58:10.52
>>236
それはわからんけど論文読む限りモデルは同じでパラメータ数だけが違うみたいだから
ゼロからやってるんじゃないの
2023/12/14(木) 14:58:43.74
>>238
プw
2023/12/14(木) 15:00:54.00
GPT-4は推論だけでも複数ノードかつマルチGPUが必要とされてるし
コストはバカにならんからね
2023/12/14(木) 15:05:35.77
あるときからMSがOSの管理ほっぽらかして
コルタナとか怪しげなデータ収集とか
そういうことばっかりするようになった
GPT４作ってたんちゃうか
2023/12/14(木) 15:05:44.13
俺らはもう強制収容所で1日8時間働かされてその後は家に強制的に送還される未来しか残されていないんだよ
2023/12/14(木) 15:07:38.92
うわべが現実と違いすぎてゲロ吐きそう
2023/12/14(木) 15:11:58.16
実態は巨大なAIの学習情報提供してもらったってことなんだろな
2023/12/14(木) 15:12:58.13
うわべや現実なんて気にせんほうがええで
適当が一番
2023/12/14(木) 15:29:42.24
Windows10以降を使っているということは「ディスク上のコンテンツ」を
マイクロソフトが収集することに同意しているということだからなあ
Win10が出た当時かなり話題になってたが
2023/12/14(木) 15:43:07.67
windowsに顧客情報を入力すると顧客情報の社外持ち出しに
なり懲戒処分になる
2023/12/14(木) 15:50:52.66
まずい時代になった
2023/12/14(木) 16:10:37.38
あたまいたいのがなおらない
2023/12/14(木) 16:21:04.98
コロンビア大のロボットの動作Diffusion研究チームが中国人だらけな事に日本の衰退を見る

Diffusion Models for Robotics Control
https://diffusion-policy.cs.columbia.edu
2023/12/14(木) 16:23:48.40
日本は本当になにもできないな
2023/12/14(木) 16:24:36.22
ドイツフランスのように
抑圧されてどんどんばかになっていく
いじめられるのが仕事
2023/12/14(木) 16:28:54.15
>>250
バファリンかロキソニン飲め
2023/12/14(木) 16:29:37.49
何もできない
政治は腐敗
マジで賢い奴は日本にいないよ
本当飯だけの国
2023/12/14(木) 16:30:50.71
>>253
ドイツにはGNPでも負けそうだぞ
2023/12/14(木) 16:33:08.18
Next.jsからCMSにする国
2023/12/14(木) 16:45:49.08
蒸留についてはこの説明がすげーシンプルでわかりやすいので覚えておけ
もちろんバリエーションは無限だしその分野だけで研究が成立するから本当の基本の基本だが
https://zero2one.jp/ai-word/distillation/
259仕様書無しさん
垢版 |
2023/12/14(木) 16:50:01.90
>>255
Hentaiを忘れるな
260仕様書無しさん
垢版 |
2023/12/14(木) 16:52:18.59
>>257
国として開発言語とかフレームワークを指定して無いからじゃね
あくまでも欲しい機能を挙げただけで入札業者の質やろ
2023/12/14(木) 17:05:43.02
砂になりたい
2023/12/14(木) 17:09:19.79
かしこくなりたかった
どんなに学習しても
根本的に脳のスペックが足りてない
2023/12/14(木) 17:21:22.70
うちの会社は未だにPCのネット接続禁止(イントラのみ可)だからAIに侵食されることはなさそうだな
会社ごと無くなるかもしれん
2023/12/14(木) 17:31:24.21
ドル円が141円で草
2023/12/14(木) 17:42:36.60
>>213
ただ、人間のノウモカテゴリーに分けたり、判断ベースの推測は遺伝子に刻まれた学習結果や記憶からの統計的な推測とかとも言えるのよね

脳科学や心理学なんかは、統計的な考え方で人の心や脳を捉えようとしたりもするらしいし
2023/12/14(木) 17:43:22.83
なんかプログラマーらしいスレになったな
参考にする
2023/12/14(木) 17:52:25.80
>>266
プログラマーではないキチガイが混ざってるから気をつけなされ
2023/12/14(木) 18:27:16.04
ちな蒸留はかなり昔からあるテクニックだけどtransformers以降精度が劇的に上がったので
蒸留の技術も必然的に有用になったというわけ
後もう一つ最近流行ってるモデル最適化は量子化
量子化は分野によって結構意味が違うが深層学習においては
パラメータの32ビットの浮動小数点数を8ビットの整数に置き換える技術
こうすることでモデルのサイズを劇的に減らすことができる
さらに個人のマシンでも実行可能なようにできる
2023/12/14(木) 18:30:47.68
>>260
デジタル庁のスタッフがHTMLわからんし
ReactのタグもわからんからCMSにしろとか言う声が上がったのは容易に想像できる
お前らデジタル庁だろう勉強しろよって思うが
2023/12/14(木) 18:31:55.48
>>268
サイズを単純計算で1/4にできるのか
ほえー
精度とか下がらんのけ？
2023/12/14(木) 18:32:45.47
>>263
いまだにそういう会社あるんだな
何をビビってるのか知らんが
2023/12/14(木) 18:34:20.78
>>255
飯もそれぞれの国のミシュラン三つ星の数を考えると
トップどころは全部海外だしねえ
273仕様書無しさん
垢版 |
2023/12/14(木) 18:35:24.58
>>271
核とか扱ってるんじゃね
2023/12/14(木) 18:37:06.56
ということはマイクロソフトはGPT-4のモデルを使うためにOpenAIに出資をしたと？
そして今蒸留や濾過が完了したから搾りかすはもうイラネということ？
2023/12/14(木) 18:37:22.06
半精度のさらに半精度つてこと？
それってどうなの？
2023/12/14(木) 18:38:07.16
>>273
何をそんなに恐れているんだか
そしてその制限について社員が何も言わないのも不気味
不便じゃないのか？
277仕様書無しさん
垢版 |
2023/12/14(木) 18:39:46.85
>>272
そもそもフランス発祥だからね
期間的なものもそうだし味の基準もね

ちなみに海外行って三つ星レストラン行っても日本人からすると美味く無いぞ
クドイ味付けが多い
ただしコレはワインを飲む事で調和が取れる前提ってだけ　　　
2023/12/14(木) 18:40:23.95
>>275
float32からint8に変換だよ
たったの8ビット
変換の式はいろいろあるがモデルの精度が落ちないようにさまざまなものがある
これだけでも１つの研究になるレベル
279仕様書無しさん
垢版 |
2023/12/14(木) 18:41:33.20
>>276
とは言うけど一部の部屋とか場所ではセキュリティ面でスタンドアロンのって珍しく無いからなぁ
280仕様書無しさん
垢版 |
2023/12/14(木) 18:42:08.82
>>274
寧ろMSはOpenAI買収したい
2023/12/14(木) 18:42:57.26
ちなみにint8は直接ハードウェアでサポートするプロセッサも増えている
それこそがTPU
GoogleやNVIDIAが開発している専用プロセッサだ
こいつらはGPUではないがint8演算がチョッパヤだったりする
だから流行っている
どうかな？
もう日本がついていけるレベルじゃない
2023/12/14(木) 18:46:11.70
>>281
おもしれー
int8演算に回帰してるのが面白いな
となるとその分野って日本でも全然通用する気がするのだけどな
ほんとゴテゴテに回っとるな
2023/12/14(木) 18:48:38.53
>>277
イタリアンも海外は薄味だもんな
基本的に素材中心で塩味だから日本人が食うと物足りない
2023/12/14(木) 18:51:56.25
>>282
スパコンの富岳はint8ベクトル演算をサポートしているからね
日本はやれるはずなのだ
2023/12/14(木) 18:54:06.52
無駄な精度まで計算しないのは数学的に常識では？
周りにいるプログラマのレベルだけを見てできるできないの判断するのは精度落としすぎだと思いますよ
2023/12/14(木) 18:55:38.48
俺達　できる
ジャップ　できない
頭２ビット
2023/12/14(木) 18:56:06.08
>>285
数値計算の分野では常識だったけどね
一昔前までGPUがfloat32しかサポートしてなかった歴史的経緯が大きい
界隈にいるとわかるけど深層学習は数値計算の中でははぐれもの扱いなんだよね
2023/12/14(木) 18:58:01.03
外国企業がよりつかなくなったらまた円下がる
2023/12/14(木) 18:58:39.71
intで小数を作って管理したらいいだけの話だろ
2023/12/14(木) 19:00:01.80
富岳はちょっと前まで民間が利用できないという謎の縛りがあった
恐ろしいことだよ
もう何がしたいのかわからない
2023/12/14(木) 19:02:08.69
衰退させたいんだよ
2023/12/14(木) 19:04:58.10
民間（よくわからん組織）に使わせたくないだけでは？
スパイ防止法もないんだから
2023/12/14(木) 19:18:13.74
>>292
単にメンツだと思うよ
偉そうにしたいんだよお役所は
2023/12/14(木) 19:18:33.48
民間に発注してるくせにな
2023/12/14(木) 19:23:43.80
老害 石頭 お役所仕事
2023/12/14(木) 19:28:37.03
>>278
凄いな
普通に考えたら、2の32乗が2の8乗
2の16乗で6万4千倍の圧縮みたいなもんでしょ

それで変わらんのはすごい
2023/12/14(木) 19:33:42.40
そんなに減らして大丈夫なら１ビットでもいけんじゃねとおもった
2023/12/14(木) 19:39:39.73
なぜそんなに減らして良いのかというと
パラメータを調べたらほとんどか同じ範囲に分布してるのがわかったらしい
だからその範囲内でうまく変換してやると
頭の良い人が考えることはすげーわ
299仕様書無しさん
垢版 |
2023/12/14(木) 19:40:52.13
>>286
１ビットだな
2023/12/14(木) 19:42:40.13
細胞の数は減らさずに演算だけ簡略化したの？
301仕様書無しさん
垢版 |
2023/12/14(木) 19:47:39.01
Next.jsに案件に入って、PHPとjQueryにするからって言われたら辞めるわ
2023/12/14(木) 19:48:43.09
>>298
画像や音の圧縮みたいなイメージなんかね
大体似たパターンになるような
2023/12/14(木) 19:49:57.92
まあ、日本と言うよりかは利権を放置するとこうなるって話よな
古今東西、利権はどんどん肥えて暴走する
まあ、そろそろ風船の破裂の時が来てもおかしくないので、引き際を見極めないと面倒なことにはなりそう
2023/12/14(木) 19:53:38.86
人間利権が拡大しすぎたので
自分が不要だと思う人は世界から去ってください
2023/12/14(木) 19:58:03.99
>>302
画像や音に比べると見え方がわかりにくいけど
構造的には同じなんだろうね
だからtransformersで画像も自然言語も同じように処理できると
2023/12/14(木) 20:00:09.82
マジでtransformersは人類史上とんでもないものを解き明かしたのかも知れん
2023/12/14(木) 20:17:33.28
なんかAIのせいで人間の存在意義がどんどん薄くなってる気がする
2023/12/14(木) 20:18:12.45
おかねほしい
309仕様書無しさん
垢版 |
2023/12/14(木) 20:20:49.31
udemyなかなかセールしよらんな
2023/12/14(木) 20:22:59.13
これでお金までもらえなかったら何したんかわからん
311仕様書無しさん
垢版 |
2023/12/14(木) 20:23:25.35
平日はもうしんどい
2023/12/14(木) 20:26:17.73
まあ、お金はあくまでも価値との交換券だからね
ただ、お金に囚われれば悪いこともするし戦争にすら繋がることもある

お金は国家を構成する重要な分業や軍事や産業の効率化と言う観点で必要だった
現に、先進国でお金を使ってない国はない
先進国でなくとも、ある程度の産業がある国はお金で回る

では、お金がなくても産業も軍事も国家も成り立つ時、お金や、お金を使いお金に使われる我々はどうなるか？
ま、民主主義が機能してるかどうかだろうね、そこから先は
2023/12/14(木) 20:26:49.05
おまえがいらないと思うんならおれにお金よこせ
2023/12/14(木) 20:34:49.11
金は汚れとかいいながら集金するカルトじゃねーか
2023/12/14(木) 20:38:25.22
親はカルトまがいにつつきまわされたのか
成功とかけ離れた蔑視と冷遇を
ありがとうありがとうとありがたがるようになった
おかげでまわりまでおかしくなって
結果精神病院送りになったのもいる
316仕様書無しさん
垢版 |
2023/12/14(木) 21:11:18.48
なんだ、このくそスレは
2023/12/14(木) 21:13:45.17
彼が来ると急にクソスレになるね
2023/12/14(木) 21:14:53.25
>>301
実際やめたんだろうね
内情を暴露して欲しいな
319仕様書無しさん
垢版 |
2023/12/14(木) 21:49:01.86
PtythonでWeb開発やる気はしない
機械学習を利用するに決まってる
320仕様書無しさん
垢版 |
2023/12/14(木) 21:53:56.68
>>319
API用意するだけならFastAPIで楽
機械学習でも基本はジュピターだけど汎用デモ作るのにStreamlitで楽やん
2023/12/14(木) 22:18:06.74
>>320
Streamlitを初めて知ったがこれ凄いな
便利な世の中になってきたな
322仕様書無しさん
垢版 |
2023/12/14(木) 22:19:10.08
あんなん簡単なプレゼン用のデモ作るくらいしか役に立たないよ
2023/12/14(木) 22:21:46.63
>>319
消去法でpythonになるな
2023/12/14(木) 22:23:34.49
この国はどこまで腐敗すれば気が済むのか

林官房長官に旧統一教会と接点　斎藤経産相、鬼木防衛副大臣も
https://news.yahoo.co.jp/articles/a173ee7b8ec38b0a2a0754cba0abab9bb365263f
2023/12/14(木) 22:45:10.04
最近疲れがひどい
ストレスもあるけど40半ばだともう駄目だ
2023/12/14(木) 22:56:08.59
12月とは思えない生温かさだな
地球はどうなってしまうんや
2023/12/14(木) 22:57:36.59
腐敗ではない
最初からそれが本体なんだ
俺達は幻を見せられてるんだ
2023/12/14(木) 22:59:21.34
スーツに見える作業着着てるやつおる?
2023/12/15(金) 00:01:40.17
立花って人本当に詳しいな…

まあ某派閥が検察を怒らせたと言うよりも、「某派閥が検察を怒らせた」と言うことにして煽りまくって検察を動かそうとしているメディアが怒ってると個人的な妄想として見ているが
某派閥は第四の権力のメディアに対して良くも悪くもガンガン攻めたからなあ
2023/12/15(金) 00:08:02.66
>>229
5chレベルなら、眼の前のスマホで数秒検索したり、（いわゆる）AIに軽く聞いてからレスするだけでも相当賢くなると思う

このスマホがスマートグラスになり、その先はスマートコンタクトとか、直接映像やデータを送るとか、脳に埋め込むとかになるのかもね
2023/12/15(金) 01:37:08.43
>>277
ワインのペアリング文化は日本では全く定着してないからな
2023/12/15(金) 04:56:35.42
飲食店の安さとレベルの高さは先進国では異常らしいもんね、日本の
まあアルバイトレベルですら、あんなに真面目に仕事するのはおらんのだろうし、料理人はあんだけよく働けるなあと

ペアリングのある高級な焼き鳥と寿司と天ぷらはいつか行ってみたい
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況