Anthropicが政府にFable5、Mythos5を公開禁止にされたというもの凄いタイミングですが、明日NHKの日曜討論に生出演させていただきます！ 京大の羽深先生と共に、Mythos以降のAIとの関わり方を議論します。 Mythos/Fableが入った内容をNHKと最終調整する段階でしたが、とんでもない爆弾がきてしまった

このあと、NHKの日曜討論でAIの今とこからについて議論してきます。 昨日のアメリカ政府によるAnthropicのFable/Mythos停止騒動についても、タイムリーなことに内容に加えていただいたので、こちらも話していきます！

ちなみにAmazonはかなり以前からAnthropicに投資しており、ビッグテックの中では最大のAnthropicの同盟社のはずなのですが、Anthropicに致命的なダメージを与える可能性のある、ジェイルブレイクに関する今回の情報共有が何を招くのか予想していたのかどうか。 (正直、外野から見ている分には、AmazonもAnthropicも壮大な自滅をしているようにしか思えない)

Fable/Mythos停止から約1日経ち、政府による今回の措置に至った内幕などが関係者などから出てきました。 いつものThe Informationによると、 ・Amazon CEOのジャシーが政権の高官に対して、AnthropicのAIのセキュリティリスクに懸念を表明していた （別報道のWSJでは、Amazonの研究者がジェイルブレイク方法を見つけたとされており、政府へ状況共有したのもAmazonであれば整合する） ・この電話会談がきっかけで、金曜日深夜にトランプ政権内で輸出規制発動を決定 ホワイトハウスのAI担当者のサックス曰く、 ・fable/Mythosに対するジェイルブレイクを、政権、信頼できるパートナーで確認し、ダリオにジェイルブレイク修正かモデルの停止を求めたが拒否された ・Anthropicは今回見つかったジェイルブレイクが深刻でないとしているが、サイバー兵器の運用を可能にするこれを深刻出ないとするのは理解しがたい ・Anthropicが安全措置が必要だと言っていたのに、いざ規制を発動するとAnthropicがこれに従いたがらないことに、正直困惑している ・政権はAnthropicの技術を評価しており、問題は解決できると思っている。ボールはAnthropic側にある 色々と見ていると、Anthropicが煽りすぎたのと元々政権と仲が良くなかったせいで、元々そこまで大きくとらえるべきでなかったジェイルブレイクを、各登場人物が拡大解釈しすぎて、今回の措置に至った感があります。

ヘグセス長官がAnthropicについて「永久に追い出して正解だった」と名指しで批判し始めたので、今回のFable/Mythos停止騒動は、イラン攻撃直前の軍事利用時間に続く第2ラウンドになりそう。 (実際はずっと水面下でバチバチしてるので、第40ラウンドくらいかもしれないですが)

Anthropicが政府にFable5、Mythos5を公開禁止にされたというもの凄いタイミングですが、明日NHKの日曜討論に生出演させていただきます！ 京大の羽深先生と共に、Mythos以降のAIとの関わり方を議論します。 Mythos/Fableが入った内容をNHKと最終調整する段階でしたが、とんでもない爆弾がきてしまった

昨日、国立情報学研究所オープンハウスの基調講演で話したことが、今回の米政府によるAnthropicのFable/ Mythos停止事件にちょっと関連するかもしれないので、当日の資料（少し変えた）も合わせてコメント。 仮に今度Mythos/FableレベルのAIが普通に使えるようになる場合、これからは「知能の壁」が崩れた世界が来ると思っています。現在の世界は知能が高い人がそんなに大量にいないのと、そのような人にも時間的な制約があることから安定が保たれていますが、もし誰もが高い知能を使えるようになれば、誰がどこでその高度な知能を使って危険なことをするかわからない&今まではリソース不足で行われなかった攻撃が多発する可能性が高いでしょう。ということで、Anthropicの主張する脅威論や安全策は、ある程度正しいところがあると思います（AI開発関連で警告なし弱体化はやりすぎでしたが）。 TBS CROSS DIGでも何度か触れてますが、「AIを賢く有用にし、さらに危険性も抑える」ことはほぼ成立しないと思います。特に危険なデータで学習しなくても、とても賢い存在は、自然とその気になれば危険なことができるようになってしまいます。プログラミングがとてもうまい人は同時にその気になればとても優秀なハッカーで、生物学者はどの気になれば生物兵器らしきものを作れるでしょう。 Mythos/Fableでは、モデル本体の賢さを落とさないため、AI本体に対するアライメントではなく外部フィルタの形をとってきましたが、生物学、暗号学、AI関連の単語の多くがはじかれることで有用性を損なっています。、何らかの形でフィルタが突破されれば、アライメントが不十分なAIが生身で解放されるので、もしもの危険を考えると、怪しきは全て罰せよ形式にするしかないと思います。そもそも、全く同じプロンプトの同じ出力でも、使う人によって結果が大きく異なるため、単純な入出力だけを見て規制の対象とするのが古いのかもしれません（この点、Anthropicはデータ保存ポリシーを変更して、保存されたデータの組み合わせから危険性を判断しようとしているっぽいので、これは正しいと思います）。 危険性を抑えるためにはAI本体へのアライメントが必須だと思いますが、これは例えばサイバーセキュリティだと、脆弱性特定能力とプログラミング能力は衝突するため、有用性を維持することができません。 ここまでを考えると、今回のアメリカ政府の即時停止はあまりにも急だとしても、将来的には一定性能以上のAIについては、当初のMythosのように事前審査制になり、特定の国、機関、個人しか使えなくなるというのは避けられない気がします。これはアメリカという国に限った話でなく、仮に同盟国の日本だろうと、中国だろうとロシアで先端AIが作られたとしても、世界のどこかで世界を恐怖のどん底に突き落とすウイルスを誰かに作られては困るため、同じ処置になるのではないかと思います。

今回は完全にこれが起きた形なので、Anthropicはマーケティングにせよ本心からの思想にせよ、ちょっとAI脅威論を煽りすぎた

私が現状Fableに対するジェイルブレイクの成功例として把握しているのは２件で、一つは既に昨日時点でSNSで話題になっていたもの。これは以前からジェイルブレイクをやっている有名アカウント（フォロワーが20万近い）が投稿しているもので、かなり拡散されていた。 もう一つは先ほど公開されたWSJの記事で、Amazonの研究者が脆弱性に関する情報を得たとする指示のやり方。 ただ、これらが政府に共有されて停止措置を判断させて者なのかは不明。もしかしたら、表に出ていない別のものかもしれない。

今回のAnthropicのFable/Mythos停止措置はAI・半導体の投資判断的にどういう受け止め方になるのか。 ・フロンティアモデルを作るAI企業の出口戦略が怪しくなったので下げ なのか、 ・国産AI、AI主権の議論が再燃して各国がモデル開発に乗り出しそうなので、需要が増える半導体関連は上げ になるのか

今回の米政府によるAnthropicのFable/Mythos停止措置が、①Anthropic単体に対する嫌がらせの意図も含むのか、②これからもAnthropic以外の機関だろうと同じ状況になれば同様に停止措置を取るのかでだいぶ今後が変わってきます。 後者であれば大変で、第三者が米政府に何らかのジェイルブレイク攻撃を共有したら即座に世界全体でAIを停止させられるという、インフラや経済へのAI浸透度次第では核を超えるレベルの災厄を引き起こせることになります。 さらに、今回のケースではAnthropic内部の職員でも外国人と判定されるような人も同時にアクセス禁止対象になったので、アメリカの先端AIに関わる職員の多く（そもそも、現在のAI研究の原動力は移民である）がある日突然AI研究の業務停止になる可能性が出てきます。 なんとなーく、今回は今までの経緯を踏まえたアメリカ政府の「Anthropicが気に食わない」感が出ているので、ここまでの過剰反応が他のラボにも継続して出るのは考えにくいと思ってはいますが・・・

トランプ政権の内情に詳しいAxiosで、今回の米政府によるAnthropicのFable / Mythos停止についてもう少し詳しい内容が報道されていました。 ・そもそも政権は当初のFable / Mythosのリリースに反対で、Anthropicは過剰とも言える安全策をかけて押し切って公開 ・公開後すぐに安全策を無効にするジェイルブレイク手法が出てきたのを政権が察知したので、輸出規制の形で対応

AnthropicのFable5/Mythos5が政府に停止させられたのを見てここぞとばかりに煽る中国のオープンモデル開発社 (なお、今回ばかりはさすがに誰も言い返せない)

しかしこれ、AnthropicのIPOはどうするんでしょうか。 アメリカ政府と1ヶ月に１回レベルで頻繁に喧嘩して、ある時は突然主要サービスが政府命令で数時間以内に全世界で停止させられるような企業が上場しているのはいいのだろうか。 （あるいはそれくらい凄い企業ということで逆に価値が上がるのか）

これ、もしかしたら人類が最後に「普通に使える」AIモデルの最高性能はGPT-5.5とClaude Opus4.6になってしまうのかもしれないなぁ・・・

どれだけインフラとして世界中にAIが浸透したとしても、アメリカ企業のAIを使っている場合、アメリカ政府の意向次第ではものの数時間以内に突然全てのAIがストップすることが明らかになったので、命や経営の根幹に関わる部分などに組み込むのはあまりにもリスクが高すぎることが明らかになった形。

Anthropicの声明文を読む限りだと、恐らくもともと日本ではメガバンクなどに優先的に付与されていたMythos本体へのアクセス権も停止されるように思えます。この件は日本政府がかなり頑張ったと思うのですが・・・

なお、Anthropicのトップのダリオ・アモデイ自身は、Fable5/Mythos5の公開直後に、「今後のAIは政府規制が必要だ」と主張するお気持ちエッセイを公開してましたが、流石に本人もアメリカ政府が「じゃあ今すぐ停止」をやってくるとは思ってなかったらしく、声明では相当混乱している状況がうかがえます

今回のアメリカ政府によるFable5/Mythos5へのアクセス禁止措置は、当のAnthropic内部の外国人職員も対象のようで、相当強い圧力

AIが我々の仕事を奪う前に、アメリカ政府が我々からAIを奪ってしまった

「政府の指示で危険なAIを停止する」はほとんどSFを感じさせる展開ですが、まぁ今回に関しては実際に我々が触ってわかる範囲でも能力が突き抜けていたので、安全策無効化のジェイルブレイクが事実で、世界中のユーザーで再現性があるなら、外国相手のこの措置が間違いとも言い難い