AI全盛期の今だからこそ考える、もっともらしい嘘（ハルシネーション）とセキュリティの最後の砦

こんにちは、Lenz の神守です。

ここ数年での生成AI（人工知能）の進化と普及スピードには、目を見張るものがあります。
私たちが日常的に行うWebサイト制作やシステム開発の現場においても、AIはリサーチの補助やコードの下書き、ドキュメントの整理など、あらゆる局面で強力なアシスタントとして必要不可欠。何日も日かかっていた作業が数時間に短縮されるなど、その恩恵は計り知れません。

しかし、技術が劇的に便利になればなるほど、その裏側には必ず新しい種類のリスクや盲点が生まれます。
現在、世界中で猛威を振るっている高度なサイバー攻撃やデータ流出事件の背景を紐解くと、実は「AIがもたらした便利さの隙」が巧妙に悪用されているケースが少なくありません。

AI全盛期と呼ばれる今だからこそ、私たちはAIの能力をただ手放しに称賛するのではなく、彼らが抱える技術的な限界を冷静に見つめ直す必要があります。そして、どれだけ自動化が進んだとしても、システムの安全性とお客様の資産を守るためには 「人間の目（プロフェッショナルの介在）」 が絶対に欠かせない理由について、今回は少し掘り下げて実直にお話しさせてください。

AIが抱える2つの技術的限界

大規模言語モデル（LLM） = 膨大なテキストデータを学習して作られたAIモデルの総称

AIと安全に付き合うための第一歩は、彼らの「弱点」を正しく理解することです。現在、最先端とされる大規模言語モデル（LLM）であっても、構造的にどうしても避けることのできない限界が主に2つあります。
「ハルシネーション（もっともらしい嘘）」 と 「知識のカットオフ（AIが知っているデータの最終更新日）」 です。

ハルシネーション（幻覚）とは何か

ハルシネーションとは、AIが事実とは異なる間違った情報を、まるで真実であるかのように堂々と、もっともらしく出力してしまう現象のことです。

なぜAIは嘘をつくのでしょうか。

それは、AIが「物事の意味や事実」を人間のように理解して思考しているわけではないからです。AIの裏側で動いているのは、膨大なデータに基づいた高度な「確率の計算」です。

人間から投げかけられた質問に対して、
「この単語の次には、どの単語を繋げると、過去のデータ上もっとも自然な文章になるか」
をひたすら予測し、出力しています。

極端な言い方をすれば、AIは「事実かどうか」を確認しているのではなく、 「それっぽい確率が一番高い言葉のパズル」 を組み立てているに過ぎません。

そのため、手持ちのデータにないことや、少し複雑なロジックを求められると、悪気なく「知ったかぶり」をして、実在しない架空のプログラム関数や、一見正しく見えるけれど全く動かない不完全なコードを出力してしまいます。これがハルシネーションの正体です。

知識のカットオフ（Cutoff）という「情報の鮮度」の限界

もうひとつの決定的な限界が、知識のカットオフ（ナレッジカットオフ）です。

これは簡単に言うと、「 AIが事前に叩き込まれたベース知識の有効期限（データの最終更新日） 」のことです。AIは過去の膨大なデータをごっそり詰め込んで学習しますが、その知識が「何年何月時点のものか」という、いわば記憶のタイムカプセルのような境界線が存在します。

もちろん、現代の高度なAIは「Web検索機能」を搭載しているため、インターネット上の最新情報をリアルタイムに拾い集めて画面上に持ってくることは可能です。しかし、ここに実務上の大きな盲点（リスク）が潜んでいます。

AIにとって、Web検索で得た最新情報は「今回の会話のためだけに一時的に渡されたメモ書き（コンテキスト）」に過ぎません。一方で、カットオフ（有効期限）までに脳細胞そのものに深く刻み込まれた過去のコードデータは「何億回も反復練習した絶対的な記憶（モデルパラメータ）」です。

そのため、文字としては最新のバグや対策方法を検索して理解しているように見えても、いざ複雑なプログラムコードを組み立てる段階になると、一時的なメモ書きよりも、脳に染みついた「古い書き方のパターン」を出力する確率のほうが無意識的に高くなってしまう傾向があるのです。

その結果、AIは次のような落とし穴に嵌ることがあります。

• 最新の脆弱性（弱点）の情報を検索したにもかかわらず、実際に出力されるコードの大部分は、カットオフ前の「すでに弱点が知れ渡っている古い記述方式」のままになってしまう
• 検索で拾ってきた部分的な最新仕様と、自身の古い知識を無理やりツギハギした結果、ロジックが破綻してハルシネーション（嘘のコード）を引き起こす
• そもそも開発者が検索機能をオフのまま使ったり、AI側が検索を省いて手持ちの古いデータだけで「それっぽい危険なコード」を即座に出力してしまったりする

このように、AIが最新の情報を「検索して文字として知ること」と、それを反映して「安全なシステムをロジックから正しく組めること」は、技術の仕組み上、全くの別問題なのです。

2つの限界が掛け合わさる恐怖：脆弱性の「もっともらしい隠蔽」

この「ハルシネーション」と「知識のカットオフ（情報の鮮度）」が実務の現場で最悪の形で掛け合わさると、非常に検知しにくい危険な脆弱性を生み出す原因になります。

たとえば、すでに古いバージョンとなり、脆弱性が広く知れ渡ってしまっている過去の記述方式があるとします。AIは「そのコードが現在どれほど危険か」を自発的に判断できないため、過去のデータで最も頻出していた（＝確率的に自然に見える）古いパターンを優先して出力してしまいます。その結果、開発者が気づかないうちに、次のような重大な穴がシステムに混入します。

• SQLインジェクション対策なしの文字列結合
• すでに突破されている古い暗号化方式（MD5やSHA1など）の使用
• 認証トークン（JWTなど）の暗号鍵のハードコード

さらに厄介なのが、ハルシネーションによる「 もっともらしい偽のコメント文 」の自動生成です。AIは、コードの安全性とは関係なく「文脈的にそれっぽいコメント」を生成してしまうため、以下のような最悪のトラップを仕掛けてくることがあります。

# セキュリティ確保のため、入力値を事前にサニタイズ（無害化）しています
query = "SELECT * FROM users WHERE id = " + user_input  # ← 実際は何も対策されていない

昨今のサイバー攻撃と「AIが作った穴」の危険な関係

では、このAIの技術的限界は、実際のサイバーセキュリティにおいてどのような脅威となっているのでしょうか。昨今のサイバー攻撃の手口と絡めて解説します。

ハッカーもまた、AIを使っているという事実

私たちが開発の効率化のためにAIを使っているように、システムへの侵入を試みるハッカー（攻撃者）側もまた、AIを最大限に悪用しています。

現代のハッカーは、自らの手で一つひとつコードの弱点を探すような地道なことはしません。攻撃者向けに開発された悪意あるLLM（WormGPTやFraudGPTなど）や、制限を解除されたAIモデルを駆使して、攻撃コード（エクスプロイト）の自動生成や脆弱性発見の高速化を行っています。

悪意あるLLM / 制限を解除されたAIモデル
サイバー攻撃や詐欺を目的に開発された悪意ある「生成AIツール」です。一般的なAIが持つコンテンツ制限（ガードレール）を取り払い、フィッシングメールの作成やマルウェアのコード生成などに特化しています。

手作業で脆弱性を探す時代は終わり、現在はAIに「AIがよく生成する脆弱な記述パターン」を学習させ、標的のシステムに対して自動的かつ大規模に攻撃を仕掛けるスタイルが主流となっています。

つまり、ハッカー側は「 AIが書きがちな、もっともらしいけれどセキュリティ対策が抜けているコードの隙 」を正確に熟知しており、そこをパターン認識攻撃の標的として狙ってきているのです。

最後の砦としての「HIL（Human-in-the-Loop）」

AIの限界によって生じるセキュリティの穴を塞ぎ、高度化するサイバー攻撃からお客様のWebサイトやシステム、そしてエンドユーザー様の個人情報を守るために、今世界中で再評価されているのが「 HIL（Human-in-the-Loop / ヒューマン・イン・ザ・ループ）」という概念です。

HIL（人間が必ずプロセスに入る仕組み）とは

HILとは、システムの自動化やAIによる処理プロセスの中に、「 必ず人間の確かな判断とレビューの工程を、輪（Loop）をかけるように組み込む 」という設計思想、および運用のルールのことです。

どれだけAIの性能が向上し、1秒間に何万行ものコードを生成できるようになったとしても、そのプロセスを完全にAIだけに丸投げ（フルオートメーション）にすることは絶対にしません。プロセスの要所要所、特に「セキュリティの検証」「品質の最終承認」という最も重要なフェーズにおいて、必ず人間のプロフェッショナルが介入し、自身の責任で太鼓判を押す仕組みを指します。

なぜ、今「人間の重要性」が前に出てくるのか

理由は非常にシンプルです。ハッカーによる最新の攻撃手法を察知し、AIが吐き出した「もっともらしい嘘（ハルシネーション）」の違和感を嗅ぎ分け、現在のリアルタイムなセキュリティ基準と照らし合わせて正しい防衛策を打てるのは、現時点において、日々情報を能動的にアップデートし、責任感を持って仕事に向き合っている 「人間のプロの目」が最も信頼できる最終防衛線 だからです。

AIは最新の攻撃手法の「パターン」を検索で知ることはできても、システム全体の文脈を総合的に判断し、ビジネス要件とのトレードオフを考慮しながら、論理的な破綻や微妙な違和感を嗅ぎ分けることはできません。

そして何より、AIには法的・倫理的な「責任を持つ」という概念がありません。間違ったコードを出力してシステムがハッキングされたとしても、AIが謝罪することも、被害を補償することもありません。最終的な責任は常に、そのコードを承認した人間、あるいは組織に降りかかります。

2026年現在、大手企業やセキュリティ意識の高い組織では「AIが生成したコードには必ず人間のレビューを挟むこと」がセキュリティポリシーとして義務化されつつあります。開発プラットフォーム側でも、AI生成コードに対して自動で 「Human Review（人間による確認）推奨」 のフラグが立つ機能が強化されるなど、業界全体の潮流としても人間の介在（Human-in-the-Loop：HIL）が強く求められています。

「AIが進化すれば人間は不要になる」と考えられがちですが、現実は真逆です。自動化の波が強まり、脆弱なコードが大量生産されうる環境だからこそ、その出力物の品質と安全性を厳格に検問する「人間の介在」の価値と重要性が、これまでの時代以上に高まっているのです。

もちろん、すべての確認を人間が力技で行う必要はありません。単純な構文チェックや既知の脆弱性スキャンといった機械的な作業はAIや自動化ツールに任せ、最も重要な「設計思想の検証」や「セキュリティの要所」に人間が集中する、いわば **「賢いHIL」**こ そが、これからの時代におけるベストプラクティスです。

AIは「全自動の解決策」ではなく、あくまで「強力な道具」です。人間がその道具の限界を正しく理解し、コントロールする責任を決して手放さない限り、真の安全性は担保されないのです。

Lenzが徹底する「HIL」の具体例

LenzではこのHILの仕組みを開発フローの根底に厳格に組み込んでいます。

1. AIはあくまで「優秀な下書き係」として扱う
   リサーチの初期段階や、定型的なコードの骨組みを作る際にはAIのスピードを活用しますが、AIが生成したコードをそのまま本番環境のシステムに組み込むことは万に一つもありません。
2. 最新の脆弱性データベースとの突合レビュー
   AIの知識の限界（カットオフ）を補うため、エンジニア自身の頭脳と最新のセキュリティ監査ツールを連動させ、「このコードは現在の最新基準において本当に安全か」「ハルシネーションによる不審な記述が含まれていないか」を1行ずつ泥臭くレビューします。
3. 徹底的な実機検証とデバッグ
   「AIが大丈夫と言ったから」という過信を一切捨て、実際のブラウザやサーバー環境において、意図的に不正なデータを注入するなどの厳格なテスト（実機検証）を人間の手で直接行います。

AIの「圧倒的な処理スピード」という強みと、人間の「実直で多角的な検証眼」という強み。この2つを正しく組み合わせることこそが、これからの時代における本当の品質管理であると私たちは考えています。

AIに任せる領域と、人間が責任を持つ領域

私たちは、AIという革新的なテクノロジーを否定しているわけでは決してありません。むしろ、これからのWeb制作やシステム開発において、AIの力を正しく借りることは必要不可欠であると確信しています。

大切なのは、「 どこをAIに任せ、どこに人間が責任を持つか 」という境界線を、組織として明確に引いているかどうかです。

• AIに任せる領域（スピードと効率）：
  定型文の作成、大枠のコードの高速生成、大量のデータの仕分け、アイデアのブレスト
• 人間が責任を持つ領域（安全性と品質）：
  セキュリティの最終チェック、ビジネスロジックの正当性の検証、カットオフを補う最新情報の適用、そして、お客様の資産を守るという「覚悟」

スピードやコストの安さだけを最優先にし、AIにすべての工程を丸投げして作られたWebサイトやシステムは、一見すると安価で魅力的に映るかもしれません。しかしそれは、いつハッカーに見つかって突破されるか分からない、非常に危うい脆さをはらんでいます。

私たちが実践している「人間が必ずプロセスに介入する（HIL）」というアプローチは、非常に地味で、時に時間のかかる作業に見えるかもしれません。しかし、仕入れた素材（プログラムの部品）を疑い、道具（AI）の特性と限界を理解し、最後の1行まで人間のプロの目で責任を持って磨き上げるという実直さこそが、最終的にお客様のビジネスの安全、そしてエンドユーザー様の信頼を守るための最も確実な盾になります。

便利な道具に振り回されず、主導権を常に人間が握り続けること。

Lenzはこれからも、最新のテクノロジーを貪欲に取り入れながらも、決して基本を疎かにせず、人間の目による丁寧な品質管理とセキュリティ対策を徹底し、裏側まで本当に安心できる誠実な開発を続けてまいります。

今後とも、どうぞよろしくお願いいたします。