コンピューター囲碁ソフトについて語るスレ52

**名無し名人** · 2017/10/15(日) 20:02:00.12

前スレ

コンピューター囲碁ソフトについて語るスレ51
http://medaka.2ch.net/test/read.cgi/gamestones/1494305975/

**名無し名人** · 2017/10/19(木) 16:24:12.50

むしろ恐れるのは、このAIと人間の圧倒的な棋力の差を見せ付けられて

プロ棋士志望の少年少女が、「棋士」という職業を見限る事。

かつては神のような棋力の持ち主と崇拝されていた名人や本因坊が、
AIに掛かると赤子の手を捩じるように潰されたら、プロ棋士などくだらない職業と
感じるのはごく自然だろう。

**名無し名人** · 2017/10/19(木) 16:37:06.92

>>194
トッププロに5子じゃ絶対に人類は勝てないやん。最後に勝ったセドルは後年に評価されてそう。

**名無し名人** · 2017/10/19(木) 16:40:17.33

ちなみにイ・セドルと闘った時と比べて、CPUは1/22に減らされてる

**名無し名人** · 2017/10/19(木) 16:42:30.94

逆に碁AIの研究者になる可能性も

**名無し名人** · 2017/10/19(木) 16:47:13.78

>>167

After 72 hours, we evaluated AlphaGo Zero
against the exact version of AlphaGo Lee that defeated Lee Sedol, under the 2 hour time controls
and match conditions as were used in the man-machine match in Seoul (see Methods). AlphaGo
Zero used a single machine with 4 Tensor Processing Units (TPUs) 29, while AlphaGo Lee was
distributed over many machines and used 48 TPUs.
AlphaGo Zero defeated AlphaGo Lee by 100 games to 0

**名無し名人** · 2017/10/19(木) 16:53:39.69

>>181
それ学習初期の棋譜だから、ランダムに打ってるのと同じ

40日間の学習を20棋譜で表してる
20層の方は72時間を20棋譜

**名無し名人** · 2017/10/19(木) 16:59:05.80

ここまで圧倒的大差だとプロ志望者は減るかもな
趣味でやる奴は別に減らんだろうが

**名無し名人** · 2017/10/19(木) 17:01:40.55

>>169
井山に教えるなと言われたのは院生師範だった後藤

**名無し名人** · 2017/10/19(木) 17:19:24.54

Re: AlphaGo Zero 投稿者：山下投稿日：2017年10月19日(木)07時44分48秒
衝撃ですね・・・。
内容は囲碁の知識などは一切なしで、ルールのみから作ったものが
セドル版のAlphaGoに100-0で勝つほど強くなったそうです。

1. 人間の知識などはいっさいなく、囲碁のルールのみ、からの自己対戦による強化学習
2. 入力は黒と白の石の配置のみ。ダメの数とかは一切なし。
3. Policy、Value、などと分割せずに、1つのネットワーク。
4. モンテカルロ法(Rollout)は使っていない。

個人的には 4. が衝撃でした。
以下はメモです。
人間がよく打つ隅の定石を見つけた(5つの例)。
33に入る定石は5手目に黒がケイマに飛ぶ形を最終的に好む
学習の初期は石を取ることを好み、次に死活の基礎を学び、最終的にバランスが取れた美しい手を打つ
学習から36時間でセドル戦のバージョンに追いついた。
セドル版には100-0で勝つ。
プロの手の一致率は48%ぐらいと低い。プロの手から学習したものは54%ぐらい。
ResNetが単なるConvolutionより優秀で、PolicyとValueを一つのネットワークで評価するのが優秀。

出力はValueとPolicy。一つのネットワーク。
入力は石の配置と着手履歴(棋譜)。
0から7手前までの黒、白の配置と手番(17面)
ResNetを使ってる。Batch Normalizationあり。
40 Residual Block
1 Block は (3x3 256, BN, ReLU)が2つ。つまり 80層のConvolution
ZeroはMasterに89勝11敗
MasterはZeroと同じ手法で作られているが、人が作ったRolloutは使っていた。

学習段階ではMCTSを使ってる。
学習の中に先読みを取り入れた、新しい強化学習
--------------------------------------------------------
自己対戦の棋譜はこちらにあるようです。
AlphaGo Zeroの自己対戦の棋譜
https://www.nature.com/nature/journal/v550/n7676/extref/nature24270-s2.zip
http://524.teacup.com/yss/bbs/

**名無し名人** · 2017/10/19(木) 17:19:47.35

>>194
強すぎて何の参考にもならないだろ

**名無し名人** · 2017/10/19(木) 17:20:45.37

>>194
アルファ碁Zeroって任天堂switchみたいで格好いい

**名無し名人** · 2017/10/19(木) 17:27:58.13

グーグルがAlphaGo　ｍasterはセドル戦の時の旧AlphaGoに4子で勝てるって言っていたよ。
セドル戦の時の旧AlphaGoと柯潔が互角だとしてAlphaGo ZeroはAlphaGo　ｍasteに勝率89％で一子は強いだろうから柯潔に５子です。

https://deepmind.com/blog/alphago-zero-learning-scratch/
AlphaGo Zeroレーティング5000以上です。

https://www.goratings.org/ja/
柯潔はレーティング3667です。

**名無し名人** · 2017/10/19(木) 17:34:00.63

いい加減「囲碁入門スクール」「指導碁」してくれる囲碁ソフトが発売されれば良い
そうすれば囲碁の面白さに気づいてソフトを買う人も増えてくるだろう
プロから直接学ぶよりもコストが下がるだろう

**名無し名人** · 2017/10/19(木) 17:37:33.11

>>216
zeroのネーミングなんて他でもある(コカコーラゼロとか)のにパイオニアであるDeepMindが名前付けると格好よく聞こえるね
1でもない2でもない10でもない
それらすべての数と一線を画す存在
始源の0
名付けて AlphaGo Zero

やっぱりいいわ響きが違う

**名無し名人** · 2017/10/19(木) 17:39:18.54

>>218
それやったらプロ棋士がいよいよ要らなくなるから是が非でも棋院は阻止するだろうな
でも、現状の天頂7の機能でもある程度の棋力があれば自分で学べそうだけどな

**名無し名人** · 2017/10/19(木) 17:41:22.60

AlphaGo Zeroに9子で勝ったらアマ6段はあると思う。

**名無し名人** · 2017/10/19(木) 17:54:08.89

>>214
> 4. モンテカルロ法(Rollout)は使っていない。
> 個人的には 4. が衝撃でした。

モンテカルロを使ってないってことは読みはどうやってるんだろ？

**名無し名人** · 2017/10/19(木) 17:54:24.98

>>205
神は負けるとわかると発狂する…

**名無し名人** · 2017/10/19(木) 17:55:19.95

つうか対セドルバージョンでいいからさっさとAndroid版出せよ
なんのためのgoogle子会社だよ

**名無し名人** · 2017/10/19(木) 17:57:20.24

ID被ってんな
>>218
コミュファ？

**名無し名人** · 2017/10/19(木) 17:57:40.62

>学習の初期は石を取ることを好み
これはああやっぱりなと

**名無し名人** · 2017/10/19(木) 18:06:25.57

もうここまでAIが突き抜けたらコンピューターVS人間には何の価値もないから
チェスのように人間VS人間の世界に戻るよ。

AI進化の為に難解ゲームだった囲碁が選ばれ荒らされたけどもう今回のことで終わりでしょ
ディープマインド社は次の分野がAIの研究対象になる。

**名無し名人** · 2017/10/19(木) 18:07:56.08

次に複雑なゲームってなんだろ

**名無し名人** · 2017/10/19(木) 18:08:22.88

計算量そのものはMasterよりも減っているのに強いという驚異

**名無し名人** · 2017/10/19(木) 18:09:22.98

9路の囲碁で同じことやったら完全解析にどれだけ近づけるかってのも興味あるな

**名無し名人** · 2017/10/19(木) 18:10:10.88

>>214
今後この論文に沿ってできる囲碁AIは
モンテカルロ法(Rollout)は使っていないということか
どこも開発をゼロか１からやり直して作ってくることになるんだな

**名無し名人** · 2017/10/19(木) 18:10:33.38

一定以上の人数がplayしているゲームで19路碁より複雑なものはないはず

**名無し名人** · 2017/10/19(木) 18:14:14.84

今、野狐でやってるゼロ対ゼロ
上辺の下ツケクリックミスみたいな手だな
神の一手か

**名無し名人** · 2017/10/19(木) 18:14:57.08

大橋六段の執筆中の
ＡＩ囲碁大全も大幅加筆になりそう

**名無し名人** · 2017/10/19(木) 18:24:20.79

>>228
スタークラフトやってた筈
MTGとHSのカードも読み込ませていたけど進んでいるかは知らない

**名無し名人** · 2017/10/19(木) 18:27:39.01

テンセントなら12月の大会に間に合うレベル

**名無し名人** · 2017/10/19(木) 18:32:11.52

v18のネットにZeroの200万局学習させても3100にしかならないのは
棋譜の量が足りないからかと思ったけど
プレイアウト無い分だな

v13が
rvp 2890
vp 2177

だった

**名無し名人** · 2017/10/19(木) 18:37:21.54

Masterって負けるんだ・・・

**名無し名人** · 2017/10/19(木) 18:40:16.29

大企業がAI研究の次いでだけど本気出すと進化スピード半端ねえな

**名無し名人** · 2017/10/19(木) 18:45:05.35

ゼロも負け確になった途端、手のないところで暴れまわって発狂モード突入
これは一生このままっぽいな

**名無し名人** · 2017/10/19(木) 18:51:25.99

強い奴よりも強い奴が出てくる展開が続きすぎて、どれだけ強いのかもはや見当もつかないな
トッププロに何子ぐらいなんだろう？

**名無し名人** · 2017/10/19(木) 18:52:31.59

Google じゃないけど、既に AI は RTS やっても人間より強いぞ。
次に AI が人間より上手くプレイしてみせるゲームといったら、そりゃ戦争（現実）やろｗ

PCゲーム「Dota2」でAIが世界トッププロに勝利
http://www.itmedia.co.jp/news/articles/1708/14/news083.html

**名無し名人** · 2017/10/19(木) 18:52:33.71

The team says they don’t know AlphaGo Zero’s upper limit
-it got so strong that it didn’t seem worth training it anymore.

**名無し名人** · 2017/10/19(木) 18:54:24.99

Zero vs MasterのGame3、コウにはじかれた直後の白76は、当然そのコウを取る一手。中盤の読みが100%信頼できるわけではなさそう。

**名無し名人** · 2017/10/19(木) 18:56:24.40

AlphaGoZeroとマスター、リーバージョンの棋譜ってそんなに意味不明ってことなくない？
前の自己対局の棋譜よりも人間よりっていうか

**名無し名人** · 2017/10/19(木) 18:58:48.23

>>245
うん。そんなふうに感じる
打ち方に一貫性が出てきてよく馴染んでる気がする

**名無し名人** · 2017/10/19(木) 18:59:50.67

碁打ちの千年の研鑽はgoogleの宣伝のために存在したわけか

**名無し名人** · 2017/10/19(木) 19:15:11.11

なんというか
またAlphaGoのワケわかんねー棋譜かと思ったら普通に参考になるような…

**名無し名人** · 2017/10/19(木) 19:20:04.33

アマ初段が約1450、並プロが約3000
レーティング200点差で置石1個くらいだろうから
カケツ(3669)とzero(5000超)は計算上7子で互角か

**名無し名人** · 2017/10/19(木) 19:23:19.43

7子なんてことが果たして本当にありうるかというとさすがにないだろうな
あくまで理論値

**名無し名人** · 2017/10/19(木) 19:28:44.01

新しく見つかったという定石ってのは使えそうなの？

**名無し名人** · 2017/10/19(木) 19:49:08.93

7子でなくて5子だとしてももはや人間の考えの及ばない領域なのは間違いない。
打たれた結果を見て、ココがよいのですよと言われて、はあそうですか、というようなもの。

**名無し名人** · 2017/10/19(木) 19:51:48.56

将棋だったっけ？
プロがAIに負けるようになったら、ルールちょっと変えればいいとか言ってた奴。
この調子だと、どんな新ルールでも人よりAIの方が習熟が早そうだな。

**名無し名人** · 2017/10/19(木) 19:54:17.34

桂馬を横に動くようにすればいいだな
因みにハニュウの発言やｗ

**名無し名人** · 2017/10/19(木) 19:54:38.70

zeroバージョンになったらなんか人間ぽくなった気がする
碁の神様とzeroはどれくらい差があるんだろな

**名無し名人** · 2017/10/19(木) 19:57:34.09

三村囲碁JP
AlphaGoZero登場＆棋譜感想
http://mimura15.jp/blog/2017/10/19/%e3%80%90%e9%80%9f%e5%a0%b1%e3%80%91alphagozero%e7%99%bb%e5%a0%b4/

三村プロが最初の方の棋譜にコメントしている

**名無し名人** · 2017/10/19(木) 19:58:11.05

20層3日バージョン対セドル版で、ゼロが黒3三々やってるな

**名無し名人** · 2017/10/19(木) 20:00:25.06

レーティング数値はあくまで互先限定のものだから
実際は4子も置けばプロは負けないよ

**名無し名人** · 2017/10/19(木) 20:03:17.99

うん、置石一つがどの程度の差なのかももう分からなくなった

**名無し名人** · 2017/10/19(木) 20:03:47.07

人間同士の上手（ウワテ）なら、スソガカリからの受け方で、棋力を推定してその後の
打ち方を変えるとかするが、そういうことが出来るわけでは無い。
ヨセで１０目は確実に得できそうだから、中盤でもう厚く打っておけば十分だなんて
判断もできない。アマ（下手；シタテ）が間違えそうな勝負手を知っている訳でも無い。

置碁（ハンディ戦）も強くなっているわけでは無いから誤解してはいけない。

**名無し名人** · 2017/10/19(木) 20:05:51.35

カケツが打ち込み碁で挑戦するしかないな

**名無し名人** · 2017/10/19(木) 20:15:11.60

終盤でコウが絡んでくると「え？あれ？」ってなるところがあるけど中盤までは人間対局にも導入出来る気がする

**名無し名人** · 2017/10/19(木) 20:43:47.26

ただ「これくらいなら人間にも打てるんじゃね？」って思って
戦ったらどうしようもなく石の形崩されるんだよね

水面下の力がすごい

**名無し名人** · 2017/10/19(木) 20:43:47.32

ただ「これくらいなら人間にも打てるんじゃね？」って思って
戦ったらどうしようもなく石の形崩されるんだよね

水面下の力がすごい

**名無し名人** · 2017/10/19(木) 20:46:41.75

半年以内に絶芸がmasterレベルになるからそれで何子あるか分かるよ

**名無し名人** · 2017/10/19(木) 20:49:49.92

アルファ碁ゼロの論文で、Crazystoneとの比較はあるがDeepZenGoがないのは、DZGにはちゃんとしたペーパーがないのかな?

**名無し名人** · 2017/10/19(木) 20:55:18.98

20層の限界が4400付近で
40層は最低5200か

**名無し名人** · 2017/10/19(木) 20:56:34.37

「囲碁は奥が深いからAIは簡単に強くなれない」とは何だったのか・・・

**名無し名人** · 2017/10/19(木) 21:00:21.81

ディープラーニングと囲碁の相性が特別にいいってことじゃないのか？
探索が重要なものはここまで役に立たないと思う

**名無し名人** · 2017/10/19(木) 21:04:17.67

超天才ノイマンが産み出したモンテルカルロ手法を越える
テクノロジーがやっと生まれたということ？

**名無し名人** · 2017/10/19(木) 21:12:59.21

人間の棋譜を参考にしていないのに人間の棋譜学習したマスターの自己対局よりは人間っぽいし強いって何よそれ

**名無し名人** · 2017/10/19(木) 21:26:40.02

井山七冠なら一万回やって一回も勝てないレベルか。
>>253
そうだね。どんなルールでも１日とたたず人間が叩きのめされる。下手すりゃ一瞬だね。

**名無し名人** · 2017/10/19(木) 21:29:29.43

>>266
なんで超絶劣化コピーと比べなきゃいけないんだよ

**名無し名人** · 2017/10/19(木) 21:34:19.41

学習効率が良くなったから3日でアルファ碁（対セドル）超えただけで
人間の棋譜から出発させてたらもっと早く超えたんじゃないかな
人間がスタート地点でなくても同じような手を打つことが分かったと言うことが重要

局所的な極大値でないことを示すには独立試行が何回か必要だと思うけど

**名無し名人** · 2017/10/19(木) 21:48:46.42

>>214
自分もモンテカルロを使ってないというのが一番ビックリ
進歩が早いわけだ

**名無し名人** · 2017/10/19(木) 21:52:59.68

ゼロの論文、ざっと目を通しただけだけれども、
終局までのシミュレーションをやってないというだけで
ノードの生成にモンテカルロ法を使ってないとかどこにも書いていないような…

**名無し名人** · 2017/10/19(木) 21:54:59.35

前の自己対局に比べたら手抜きがかなり減ってるな
先に打った石の顔を立てるっていう原則が一応人間で見てわかる範囲で打たれている

**名無し名人** · 2017/10/19(木) 21:58:48.46

というか
AlphaGo Zero uses a much simpler variant of
the asynchronous policy and value MCTS algorithm (APV-MCTS)
used in AlphaGo Fan and AlphaGo Lee
と元祖AlphaGoよりずっと単純なMCTS(モンテカルロ木探索)を使っていますと、
モンテカルロ系だと明記されてない？

**名無し名人** · 2017/10/19(木) 22:04:06.55

もはやドラゴンボール並みのインフレだな

**名無し名人** · 2017/10/19(木) 22:10:13.45

人間の発想は偏ってしまう部分があるから

ランダムに全部試してみるような姿勢が必要だったんじゃね。

**名無し名人** · 2017/10/19(木) 22:14:59.29

　　　　　　　　　　　　　,-,ｉｉ|||||||||||||||||ｉｉ､‐､
　 ,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,＿/ ｉ|||||||||||||||||||||||||ｉヽ＿,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
　　　゛゛ｌｌｌｌ||||||||||/　'　ｉ||||||　　|||||||||||||||||i　` ヾ|||||||||||ｌｌｌｌ""
　　　　　　　゛ｌｌｌ/　　　|||||||　　||||||||||||||||||　　　 ,ｌｌｌｌ""
　　　　　　　　　＼　　ｌ|||||||AlphaGo||||||ｌ　　／　　／￣￣￣￣￣￣￣￣￣
　　　　　　　　　彡　　　゛ｌｌ||||||||||||||||||ｌｌ"　　　ミ　　|　　私の段位は
　　　　　　　　　＼＿　　　゛゛Ｙ""　　　＿_ノ　　|　　五十三万段です
　　　　　　　　　　 | ］下ﾐ─-｡､_|_, ｡-―ﾃ「［ l　　　|　　ですが　もちろん　フルパワーで
　　　　　　　　　　ゝ_,. lﾐミi＝´<_,.｀＝ｉ=ｦ､__ﾉ　＜　　あなた方と戦う気はありませんから　
　　　　　　　　　ヽlミ| 「‐､=ラ7 |ヲ'´ 　　　　|　　ご心配なく・・・
＿＿＿＿＿＿_　　, へﾉ`i=､_ 二 _,=ｉゝ､_,へ､　＿＼＿＿＿＿＿＿＿＿＿
i　　　　i　　　　i ￣|　|――-＼￣∠-――|　|￣ i　　　　i　　　　i

**名無し名人** · 2017/10/19(木) 22:16:11.33

>>214
初期アルファ碁の論文の線形データから見れば
モンテカルロ使わなくても去年11月頃に人類のレーティングに追いつくって散々言われてたやん

それを言っても意地になって信じようとしないアホが多かった

**名無し名人** · 2017/10/19(木) 22:31:11.27

結局コミはどうなったの？

**名無し名人** · 2017/10/19(木) 22:31:38.00

　
自己対局で成長する囲碁AI「AlphaGo Zero」が登場--実力すでに世界最強 - CNET Japan
https://japan.cnet.com/article/35109021/

**名無し名人** · 2017/10/19(木) 22:34:13.68

>>278

>>214の
4. モンテカルロ法(Rollout)は使っていない。
はこれが基だろう

AlphaGo Zero does not use “rollouts” - fast, random games used by other Go programs
to predict which player will win from the current board position.
Instead, it relies on its high quality neural networks to evaluate positions.

https://deepmind.com/blog/alphago-zero-learning-scratch/

**名無し名人** · 2017/10/19(木) 22:38:49.38

読みがすごいんだろうか

**名無し名人** · 2017/10/19(木) 22:55:01.08

>>286
>>285のサイトにこうある

・It uses one neural network rather than two.
Earlier versions of AlphaGo used a “policy network” to select the next move to play
and a ”value network” to predict the winner of the game from each position.
These are combined in AlphaGo Zero, allowing it to be trained and evaluated more efficiently.

ポリシーネットワークとバリューネットワークが組み合わさって一つになったとある
わからないがこれが画期的に有能でrolloutsは不要になったのかも

**名無し名人** · 2017/10/19(木) 23:07:40.79

最後のほうまで直観で打つんだろ

**名無し名人** · 2017/10/19(木) 23:19:49.70

もう次の段階は適切なコミなら１００％持碁、半で差を付けたら一方が勝率１００％しかないな
さすがにこれは数年大丈夫ｗ？

**名無し名人** · 2017/10/19(木) 23:21:48.96

>>278
AlphaGo Zero uses a much simpler variant of
the asynchronous policy and value MCTS algorithm (APV-MCTS)
used in AlphaGo Fan and AlphaGo Lee
元祖AlphaGoに使用されたAPV_MCTSより遥かに簡単な異型を使用している。

**名無し名人** · 2017/10/19(木) 23:42:55.48

そういや、読み無しで3055 Eloだからスマホでプロに勝てるね
100局面探索させればトッププロにも勝てそう

**名無し名人** · 2017/10/19(木) 23:45:31.49

４隅打ったら早めに３３
ゼロよりもずっと前からやってる俺のほうが先駆者で天才

**名無し名人** · 2017/10/19(木) 23:47:23.52

すぐに３３に入る俺を馬鹿にしてた奴ら、どうだ見たことか

**名無し名人** · 2017/10/19(木) 23:52:19.46

>>280
それをやるには人生は短すぎる

**名無し名人** · 2017/10/19(木) 23:52:32.10

Full StrengthのMasterとの20局、黒でも白でも2連星なんだな。Zeroは。

**名無し名人** · 2017/10/20(金) 00:17:15.20

草野球にノーランライアンが来たみたいな場違い感
それやっちゃダメでしょって奴

**名無し名人** · 2017/10/20(金) 00:32:32.69

ライアンというより大砲で撃ってくるようなイメージ

**名無し名人** · 2017/10/20(金) 00:47:24.45

ｾﾞﾛの大好きな星を４か所も置いてプロに勝てない置碁なんて
やっぱり後の打ち方が変なのだろう

**名無し名人** · 2017/10/20(金) 00:57:50.34

早めに３３、稼いでから荒らし
俺の碁の正しさが証明された

**名無し名人** · 2017/10/20(金) 01:22:34.19

人間の作った囲碁理論は意味ないどころか邪魔なだけの存在でしたとさ(完)

**名無し名人** · 2017/10/20(金) 01:28:14.73

>>297
https://www.youtube.com/watch?v=UBtfinJ7Aa4

**名無し名人** · 2017/10/20(金) 01:32:59.80

初手天元はやっぱりごみなんだね

**名無し名人** · 2017/10/20(金) 02:20:42.46

レーティング
　　　　　
ファン・フイ戦のAlphaGo　3168
井山七冠　　　　　　　　　　3554
柯潔　　　　　　　　　　　　　3667
イ・セドル戦のAlphaGo　　3739
AlphaGo Master　　　　　4821
AlphaGo Zero　　　　　　　5185

らしい。

**名無し名人** · 2017/10/20(金) 02:23:09.88

井山先生のモチベーションが心配

**名無し名人** · 2017/10/20(金) 02:27:03.59

>>303
ドラゴンボールの止まらない強さのインフレみたいだな