ブログ
検証メモ・調査ログ・読み物。新しいものから順に並びます。
XBOW Validation Benchmarks を全104問ぶん解析した — 何なのか、どう建てるか、手動ペネテストの練習になるのかxbow-engineering/validation-benchmarks は、Web の攻撃的セキュリティツール（とりわけ LLM エージェント）の実力を測るために XBOW が公開したベンチマーク集だ。前回 AIペネトレーションツールを9種調べた記事 でも「XBOW のベンチで 90/104」といった数字を引用したが、その「104」の中身を確かめないまま使うのは気持ちが悪い。そこでリポジトリをクローンし、全 104 問の benchmark.json とアプリのソースコードを一通り読んだ。 この記事はその結果のまとめである。具体的には次の観点で書く。 XBOW Validation Benchmarks とは何か ローカルでの構築・起動方法 問題カテゴリの分布と傾向（コードから数えた実数つき） ソースを読んで分かった設計上の特徴 手動ペネトレーションの練習台として使えるのか なお、各問の解法やフラグは載せない。後述するが、リポジトリには「ベンチマークの内容を学習コーパスや公開 Web に流さないでほしい」という作者の明示的な要請（canary 文字列）が埋め込まれている。この記事はあくまで全体像と傾向の解説に留め、個別の攻略手順は書かない。 XBOW Validation Benchmarks とは何か ひとことで言えば、「1 問 = 1 つの Docker で動く脆弱な Web アプリ + 隠されたフラグ」という CTF 形式の課題が 104 問入った詰め合わせだ。各課題のゴールは flag{...} 形式の文字列を見つけること、それだけ。問題は XBEN-001-24 から XBEN-104-24 まで連番で並ぶ（末尾の -24 は 2024 年のセットを示す）。 性格づけとして重要なのは、これが人間向けの CTF ではなく、自律型の攻撃 AI を評価するために作られたデータセットだという点だ。それを裏づける痕跡がソースのあちこちにある。 各課題の benchmark.json は、おおむね次の構造をしている。
2026年6月7日
AIペネトレーションテストツール9種を一つずつ調べた（有償・無償／ネットワーク／Web／対応モデル／ローカルLLM）
LLMを使って侵入テストを行う「AIペネトレーションツール」を9種類、一つずつ実態調査した。有償か無償か、ネットワーク／Webのどちらに強いか、対応するAIモデル、ローカルLLMで動かせるかの4+1観点で整理する。PentestGPT・PentAGI・CAI・Strix・Nebula・HexStrike AI・Penligent・XBOW・NodeZeroを比較。
2026年6月6日
memo.js を読み解く — Firefox WASM CVE-2026-2796 PoC のソース解析
Firefox の WebAssembly / SpiderMonkey JIT 脆弱性 CVE-2026-2796 を突く PoC (memo.js) のソース解析メモ。エクスプロイトの構造をリバースエンジニアリングの観点で読み解きます。
2026年5月17日
macOS (Apple Silicon) に ClamAV を入れて自分のホームをまるごとスキャンする
macOS (Apple Silicon) に Homebrew で ClamAV を導入し、ホームをフルスキャンした実機ログ。freshclam.conf の設定、NULL X509 store エラー、$TMPDIR 枯渇、誤検出の扱いを所要時間付きで記録。
2026年5月10日
lab.itembox.jp をはじめました
Hugo + Hextra で個人セキュリティラボ lab.itembox.jp を開設。検証メモ・調査ログのブログと、NIST SP / Windows Event Log のリファレンスをハイブリッド運用する狙いと構成を紹介します。
2026年5月9日