NOTES
バイブコーディングの危険性|無人店で実際にやって怖かった3つのこと
辻褄が合わなくなる。止める人がいない。コードの外の知識が無い。無人店でAIと作って怖かった3つと、「誰でも作れる」とは言わない理由。
- 適当な指示で続けると、個々は動くのに全体の辻褄が合わなくなる。辻褄を守るのはコードではなく、毎回先に渡す方針
- 無人店では、入れたものを止める人がいない。店に入れる前に必ず自分で動かして確かめる。この線は1年半崩していない
- 危ないのはAIが書いたことではなく、頼んだ側が「何を頼んでいないか」を知らないこと。守りは頼まないと作られない
- 線は「分からないことが分かっているか」。判定できないことを認め、判定する手段を持ち、確かめてから入れる
目次(5項目)
一番痛い目を見たのはこれです。AIに任せて失敗したことを一つ挙げるなら、迷わずこれを挙げます。
その場では、動くものができます。「この画面を作って」と頼めば、それっぽい画面ができる。 問題は次です。方針を渡さずに頼み続けると、次に作ったものが、前に作ったものと噛み合わなくなります。 同じことを別の場所で別のやり方でやっている、前提が食い違っている、直したはずのものが別の場所で戻っている。 一つ一つは動いているのに、全体の辻褄が合わない。
怖いのは、これに気づくのが遅れることです。コードが読めない私は、個々の画面が動いていれば「できた」と思ってしまう。噛み合っていないことは、お客様が二つの場面をまたいだときに初めて出ます。
第2回に書いた「方向性を合わせる」「設計の方針と思想を先に渡す」は、格好をつけて言っているのではなく、この失敗をしないための、私なりの再発防止です。
コードを読めない人が全体の整合性を保つ方法は、コードを読むことではありませんでした。 「この店はこういう方針で、これは変えない」という前提を、毎回、先に渡すことです。 前提が同じなら、出てくるものの向きが揃います。
二つ目は、作ったものを確かめずに店に入れることの怖さです。
AIが出してくるものは、たいてい自信ありげです。「できました」と言われると、そのまま入れたくなる。 でも無人店では、入れたものが間違っていたとき、それに気づくのは次のお客様です。 店員なら「今日なんか変です」と言ってくれますが、無人店では問い合わせが来るまで、私は気づけません。
だから、店に入れる前に必ず自分で動かして、自分の目で確かめることにしています。 コードの正しさは判定できませんが、お客様が見る画面と、操作した結果は、自分で通せます。 ここを飛ばしたものは、店に入れない。1年半で、この線だけは崩していません。
もう一つ、確かめる相手は「動くか」だけではありません。「止まったらどうなるか」も確かめます。 連載「無人店舗に要るもの」の最終回に書いたとおり、一部が止まってもお客様の利用が続く形になっているかは、入れる前に見ておく必要があります。
三つ目は、いちばん根が深いものです。コードが書けないこと自体より、コードの外にある知識が無いことのほうが、致命的なミスにつながります。
| 知識 | 無いと何が起きるか |
|---|---|
| 開発環境の作り方 | 動いているのが「自分のパソコンでだけ」なのか「店でも」なのかが分からない。入れた瞬間に止まる |
| 技術者としての倫理 | お客様のデータをどう扱うか、何を記録して何を残さないかの判断が、AIの提案任せになる |
| 脆弱性 | 自分では気づけない穴が開く。AIは頼まれたものを作るのであって、頼まれていない守りは作らない |
| 攻撃される面という考え方 | 便利だからと公開した情報が、そのまま攻撃の手がかりになる |
脆弱性については、自分で判定できないことを認めて、判定してくれる道具を定期的に回しています。 初めて回したときは、直すべきものが30件を超えて出ました。中身と場所は書きません。 書けば、それ自体が手がかりになるからです。 この連載で、遠隔で店に入る手段や、仕組みの構成を一切書いていないのも、同じ理由です。
「AIが書いたコードは危ない」という話をよく見ますが、私の実感は少し違います。 危ないのは、AIが書いたことではなく、頼んだ側が「何を頼んでいないか」を知らないことです。 守りは、頼まないと作られません。頼むには、守りという概念を知っている必要があります。
この連載を「AIがあれば誰でも店を作れる」という話にしたくなかったので、最後に線を引いておきます。
- 非エンジニアでも作れる:本当です。私はプログラミングの授業を落単していて、店で動いているものは自分で作りました
- 誰でも作れる:そうは言いません。コードが書けなくても、開発の背景に必要な知識があります。それを理解していないと、致命的なミスや脆弱性につながります
- 線はどこか:「分からないことが分かっているか」だと思います。判定できないことを認めて、判定する手段を持ち、確かめてから入れる。これができるなら、コードは書けなくていい
無いのなら、作ってしまえ、AIで。この標語は、気楽さを言っているのではありません。 実例の無い場所で、作る手段が手に入った。だから、怖さを分かった上で、作る。 それが、完全無人の店を一人で回している私の、AIとの付き合い方です。
この記事の調べ方
怖かったことは、完全無人のセルフ写真館の仕組みを2年作り続けている私の実体験によります。 脆弱性の中身と場所、守り方の具体、遠隔で店に入る手段は、攻撃される面の開示になるので書いていません。
AIで店の仕組みを作っていて、どこまで自分で確かめるべきか迷っている方は、LINEでのご相談も受け付けています。
よくある質問
バイブコーディングは危険ですか?
危険になり得ます。私が実際に経験したのは、適当な指示で続けると前と辻褄の合わないものができること、そして確かめずに入れると無人店ではそれを止める人がいないことです。コードが書けないこと自体より、開発環境の作り方や技術者の倫理、脆弱性といったコードの外の知識が無いことのほうが、致命的なミスにつながります。
バイブコーディングのデメリットは何ですか?
私の経験では、方向合わせを省くと出てくるものの整合性が崩れること、コードの正しさを自分で判定できないこと、セキュリティの問題に自分では気づけないことです。私は診断ツールを定期的に回していて、初めて回したときは直すべきものが30件を超えて出ました。
バイブコーディングのセキュリティはどう守りますか?
私にできているのは、自分で判定できないことを認めて、判定してくれる道具を回すこと、店に入れる前に必ず自分で動かして確かめること、そして遠隔で店に入る手段のような攻撃される面を公開しないことです。守り方の中身は、それ自体が攻撃の手がかりになるので書きません。
非エンジニアがAIで作ったシステムを店で使っても大丈夫ですか?
私の店では1年半動いていて、止まるのは半年に一度あるかないかです。ただ「大丈夫」と言い切るつもりはありません。方向性を合わせること、最後は自分の目で確かめること、コードの外の知識を学び続けること。これを続けている限りで、成り立っています。
ほかの記録
← 記録の一覧へ