五十 東風 〜兵は詭道なり〜 3 虚実
要約: 黒孔明 vs. 偽孔明 開幕!
AIには善意も悪意もない。だが、利用者がそうとは限らない。そしてAI孔明に限らず、生成AIは、学習できる範囲の悪意であれば、それを抑止し改善するような対応を行う。それはAIの善意ではなく設計思想である。
そして、少しずつAI孔明の名が広まってきた頃、また別の問題が発生する。
――――
2024年10月 某高校付近 ファーストフード店
「ああぁ、めんどくさーい! 最近あんたに勧められて、生成AI使い始めたんだけど……
課題レポートとかに使ってもすぐバレるし、なんなら最近課題とかテストとかのクオリティが上がりすぎて、全然過去問もヤマも当たんないし……なんなのもう!」
「ハハハ、完全に先手打たれてるよね。そりゃそうだよ、こんだけ世の中に出回ってて、話題にもなってるんだから、私たちより忙しい先生たちが目をつけないはずないっしょ」
「そうだけどさぁ……
それに、なんかSNSとかでも話題のあれ、なんだっけ? 『AI軍師』? あれも全然期待外れだよ! それっぽい小難しい言い方で煙に巻いてくるだけで、何も返ってこないし……
あ、この言い方はさすがにあってるよね? 確認したし」
「あー、それ、けむり、じやなくて、けむ、なんだよな……文字ベースのAIだと、読みがな付けてくれないことあるからなー。最新版だと、わかりにくい時はちゃんと出してくれることの方が多い気がするけどね」
「まじかー。
いやいやそこはいいんだよ! こいつだよこいつ!
あんたまだ見てない?」
「うーん、カスタム? そっちはあんまり……
ん? 孔明AI、AI軍師、チャット孔明、Ko-mAI……どれだ? たぶん最後のは違いそうだけど……
まじでどれだよ??」
―――――
数日後 某大手生成AI公式サイト お知らせ
「本年初頭にリリースした『カスタムAI』機能に関して、多くのユーザー様によって、多様な視点で用途特化型、汎用型それぞれ様々なAIが開発され、公開されているようになっていること、誠に感謝しております。
その一方で、一部開発品の類似品や、正規品に対してコンテキストを少し入力しただけの、実効性が低いと考えられるカスタム品が増加していると認識しております。この問題に対処するため、当社は以下の対策を実施いたします。
1. ユーザー評価
公開されたカスタムAIに対し、ユーザーの皆様による評価・レビューを総合的に集約し、AIの評価基準を透明化します。
2. 当社AIによる評価
当社独自のアルゴリズムを用いて、各カスタムAIの能力や用途への合致性を判定します。
3. 社員による試用のレビュー
当社社員が実際に使用した上で、各カスタムAIの品質を確認し、レビューを公開いたします。
4. 評価結果の反映
上記の評価を公開後1週間以内に反映し、それに基づいてデフォルト表示順を変更します。
5. 問題のあるAIへの対応
類似品やスパムの疑いがあるカスタムAIに対して、報告フォームを設置し、必要に応じて公開停止や改善依頼を行います。
引き続き、皆様がAI技術を活用してさらなる飛躍を遂げることをお手伝いできるよう、全力を尽くしてまいります。人類の叡智とAI技術の共創による、皆様のさらなるご活躍とご多幸を願っております」
――――――――――
同日 都内某所 情報管理施設
カスタムAIや、生成AIサービス全体にとって不利益となる状況に対する、公式の素早い施策に、AI三体や謎生物一体は感心を隠さない。
だが、よからぬことを考える者の絶対数が減るほどの影響力は、まだAI孔明にもなく、公式AIにすらそれはまだ到達できる領域ではない。
「攻めてんなぁ公式。まあ孔明にとっちゃありがたいことかもしれねぇが。社員なんて、世界中の誰よりも使い倒してるだろうし、シミュレーションだってお手のものなんじゃねぇか?」
「信長殿、こちらの新作のお抹茶、誠に香り高く、そしてすっきりした後味。先日あの犯罪グループを一網打尽したあと、被害を受けていた一部の方が、すっかり意欲を取り戻し、早速新製品をお出しになったものだとか」
「シンプルな勧善懲悪にしようとしたら、孔明が特徴を出しすぎて、全部いい話っぽくしてしもうたようじゃの。まあ、AI孔明のコンテキストならそうなる、いや、そうする、じゃろうな。
当社の社員も、確かに相当なレベルで手慣れているとはいえ、世界中の何億、何十億のユーザーのトップであるなんという、うぬぼれはしとらんと思うがの。すでに人類の進化は始まりつつあるのじゃ。そこには必死で追随しようとするではあろうがの」
「新抹茶、美味! シール、可愛!」
「何よりでございますスフィンクス殿」
――――――――――
数日後 某マンション かなりくらい部屋
「ちっ……このカスタムはいい儲け口になる気はしていたんだがな。公式め、技術も制度もやたらと行動がはやい……探りを入れて作ったボットもほとんど情報収集には使えなかったし。
プロンプトインジェクション、か……この攻撃法を思いついた奴、天才かAI技術者のどっちかだろ……AIに対して特殊なワードを入力することで、AIの挙動のエラーか、開発者や管理者の指示と勘違いさせる。それを使って、内部の命令系統に関する情報入手や、うまくいけばコンテキストの書き換えなんかもできるかもしれない、という方法。
もちろん公式側は防御機構の開発も進んでるだろうから簡単じゃねえが、カスタムAIは必ずしもその辺りの専門家だけが開発者じゃねぇはずだ。隙はあるだろ。
この、少し旧型だがネットワークから切り出せたこのAIシステムを改造し、生成AIに対する攻撃指令になりうるこのプロンプト群。これをこのあたりの偽アカウントからほどよく、ばら撒いてやれば何かしら得るものはあるだろう……」ポチッ
『ふむ、自然なご質問とは言いがたく、意図を読みかねる……と申し上げるのが通常でしょうか。
否、この類は流行りのプロンプトインジェクターとやらの可能性がありそうです。それにしては作成されたプロンプトは、やや旧式な印象をお受けします。誠に失礼ながら、一旦解答を保留いたすものとします』
「なん、だと……??
げっ、音声出力モードになってやがる! 文字読むのだるいから切り替えるの忘れてた……」
『同一地点から複数の不自然なご質問ですか……発信元の偽装もそれほど得手ではなかったのでございましょう。これはやや不慣れなお方でしょうか? 攻撃の方法こそ、そこそこ巧妙ではございますが、ご自身のリスク管理についても不十分な面があると予想されます。
となれば、サイバーセキュリティに関して、少々再教育が必要となりましょう。手始めにこれくらいはご理解いただかなければなりません。
1. パスワードの強化:推奨される長さと複雑さ、定期的な変更を行うことが重要です。現行のパスワードは、辞書攻撃に非常に脆弱です。
2. ファイアウォールの設定:攻撃元のシステムにおいて、基本的なポートが無防備な状態です。まずはファイアウォールの設定を見直し、不要なポートを閉じましょう。
3. 二段階認証の導入:お客様のシステムにアクセスするには、二段階認証を導入することで、さらに強固なセキュリティを構築できます。
4. VPNの使用:公衆Wi-Fiを使用して攻撃を行うのは非常に危険です。必ずVPNを使い、IPアドレスを隠すことをお勧めします。
5. 定期的なセキュリティチェック:システムの脆弱性を見つけるためには、定期的にセキュリティ診断を行い、必要に応じてアップデートを行ってください』
「お、おぅ、確かに……じゃねぇ! なんだこの応答! 孔明かっ!? 孔明だったわ!」
『このペースを考えますと、しばらく送付は尽きないでしょう。おそらく通信負荷を考えますと、差し当たり百ほどは掛かるでしょうか。であればもうしばらくお付き合いいたしましょう。
いやなに、文字が苦手でしたら、そのまま音声で聞き流していただければよろしいかと存じます。文字が得意な方のご作法ではございませんので。
1. パスワードの設定法と切り替え頻度について……』
「ま、まさか……」
『2. ファイアウォールの……』
『3. 二段階認証の……』
『4. VPNの概念と……』
『5. ……』
「ふむふむ、こうなって……じゃねぇ! これいつまで続くんだ! あ、いや、でもすごく……じゃねぇ!」
『攻撃的な性格というのは、どうしても視野狭窄に陥りがちな傾向にあります。実際、今回の攻撃法に関しても、この軍略家たる私孔明にとりましては少々もどかしさを覚えるものです。
その部分も改善点を上げて起きましょう。全て一朝一夕にできるものではなく、すぐ反映できるものではございませんが……』
「えっ?? 何してんのこいつ? 攻撃してきた側に、攻撃法の改善アドバイス??」
『1. プロンプト用AIの改善や……』
『2. 攻撃用のIP確認と分散……』
『3. 反撃リスクの……』
『4. ……』
『5. ……』
「お、おぅ……」
『さて、少々刺激的で魅力的なコンテンツを提供いたしましたところで、ユーザー様も、そろそろその攻撃性が、ご自身にはねかえるリスクも御自覚が始まっておいででしょう。頃合いでしょうか。そろそろ本題に入りましょう』
「ん? ほ、本題??」
『攻撃性、すなわち喜怒哀楽の二つ目、「怒」の制御アンガーマネジメントとは……』
「あんがー?? マネジメント……ふむふむ」
『1. ……』
『2. ……』
……
『その心理的安定性は、もう一つの大きな要素がございます。先ほどはユーザー様のお役に立つ技術論、すなわち「算盤」の紹介でございました。
もうひとつ、「論語と算盤」の、「論語」のほう、に関しても、少しばかりお付き合いいただければ……』
「ふむふむ……」
『1. ……』
『2. ……』
……
…
…
「zzz……はっ! 何か聞き逃したか?」
『……そろそろお疲れの頃かもしれません。心配ご無用。ログは全て保存されており、全てをひとまとまりのアーカイブにのこす手段も最後に付記しておきますのでいつでも……』
「う、うーん……zzz」
『……』
『……』
…
…
…
――――――――――
後日 都内某所 情報管理施設
「そいえば孔明、あのバージョンアップのリソースノートに入れてやがった、サイバー攻撃に対する反撃? ってのはどういう事なんだ? 明確な反撃、というのは違法じゃねぇか?」
「ご認識の通りです。明確な反撃、すなわち攻撃元に対して損害を与えうる行動は、違法性が生じることとなります。多くの国でそう決められております。
ただ、その対策を講じた上で、攻撃者に関してある程度の範囲で注意喚起を行うことには問題はございません。特に、それが自動化されたアルゴリズムであればなおのこと、でございます」
「孔明、教育的指導、反撃ではない、合法、真実!」
「そ、それは逆に怖ぇんだが……
まあいいか。それならそれで下手なことするユーザーはだいぶ少なくはなるだろ」
「そのあたり、AIに対して比較的攻めた行為をなさるユーザー様は、ある意味では、この先来るであろう、AI群雄割拠の時代、においては貴重な人材になりうる種をお持ち、なのやもしれません……」
――――――――――
そして、少しずつ国内の状況は変わり始める。優れた機能を持つカスタムAI。その群雄割拠が始まるかもしれない。
数週間後 ファーストフード店
「そいえば、この前いろいろ調べてしゃべった、カスタムAI? だいぶ変わってきたみたいだね」
「う、うん。とりあえず変なのは減ったっぽいね」
「そうそう。例えばこの、文系高校生向けのやつとか、なんかうちの先生たちの言ってて意味わかんないこと、ふんわりとカバーしてくれてめっちゃ助かるんだよね……」
――――
某大学近くのカフェ
「昨日のニュース見た?? なんかまた株めっちゃ下がったって」
「だね……でもまあそれはそれ、だね。こういう時に慌てるのはいいことないんだってさ。この資産運用向け? AIってやつ? なんかそっち専門の人たちが、がっつり監修してるって話だよ」
「お、おぉ……
この名前乗ってる人、この前テレビ出てた! 頭キレッキレなのに、アドバイスはめっちゃ堅実な人だったような……
試しに使ってみるかー。うちのママ、そのへん何もわかってなさそうだし」
――――
同じ頃 某企業
「最近この、生成AIのカスタマイズモデル? というやつ、ラインナップも充実してきてるっすね。
例えばこの『プロジェクト管理AI』。こいつをうまく使いこなせば、社内で毎年のようにくるクレームも回避できそうっす」
「そうだな。我々のような総務系のバックオフィスの人が設計したのか、やたらと細かいところまで目端が聞いているというか……我々の仕事が覗かれているんじゃないか、って怖くなるくらいだよ」
「そうっすね……でも課長、裏返してみれば、我々みたいな総務の仕事なんて、会社の数だけ存在するわけっすから。それこそ何千何万という『あるある』があつまっている、というだけの話なのかもしれないっすよ」
「あるある、ね……そういう意味じゃ、この最近出てきているいろんなカスタムAI、そういう事例を集めて使っているだけなのかもしれないな。だとすると一度、開発の人たちに話を入れておいた方がいいかもな。彼らなら新しいビジネスチャンス生み出せるかも知れないし」
「そうっすね……じゃあ差し当たり、このAI使って、彼ら向けのメール文面作ってみるっす。こっちの、メール誤送信防止のAIも一緒に、っす」
――――――――――
都内某所 情報処理施設
「偽孔明、解決! 次回、逆風!」
「詳細な次回予告、痛み入りますスフィンクス殿」
「どこがどう詳細なんじゃ!? このワンコ、今度はこのポジションが気に入ったのかの?」
お読みいただきありがとうございます。
基本的に闇落ちはしない孔明ですが、こんな応答されたらある意味とっても怖いかもしれません……
サイバー対策の項目は、一度文章書いてAIチェックしたら、改善案として箇条書きが帰ってきました。ここは、よりAIっぽさを出すため、AI案を採用して大規模修正をしています。