この機能でできること
自社サイトの URL を 1 つ登録するだけで、AI が 自動的にサイト内を巡回(クロール)して、ページ内容を読み取り、知識ベースに取り込む 機能です。
商品ページ・会社概要・料金表・ブログ記事など、サイトに載っている情報を 1 ページずつコピペして登録する手間がなくなります。一度設定すれば 週 1 回、自動で再クロール されるので、サイト更新があっても AI の知識が自動で最新化されます。
サイトが大きい(10 ページ以上ある)場合に特に効果が高い機能です。
設定の前に準備するもの
- AI BOOTH の管理者権限
- 取り込みたいサイトの URL(自社サイトのトップページ URL でOK)
- そのサイトが Google でアクセス可能なこと(ログインが必要な会員向けページはクロール不可)
料金について: クロール機能の利用自体は完全に無料です。プラン内で利用できます。ただし取り込めるページ数の上限はプランによって異なります。
用語解説
| 用語 | わかりやすく言うと |
|---|---|
| クロール | AI(ロボット)がサイトを自動的に巡回してページ内容を読み取ること |
| クロール元(ソース) | クロールの起点となる URL(通常はサイトのトップページ) |
| 取り込み済みページ | クロール結果として知識ベースに保存されたページ |
| 再クロール | 同じサイトをもう一度巡回して内容を更新すること |
| 除外パス | 「このページは取り込まなくて良い」と指定する URL パターン |
ステップ 1: クロール設定画面を開く
AI BOOTH の管理画面にログインし、左サイドバーで以下の順にクリック:
- 「知識ベース」をクリックして展開
- 「クロール設定」をクリック
または直接 /admin/sources にアクセス。

画面には、登録済みのクロール元と、そこから取り込んだページ数が一覧表示されます。
ステップ 2: 新しいクロール元を追加する
画面右上の 「+ クロール元を追加」 ボタンをクリック。入力フォームが開きます。
2-1. URL を入力
取り込みたいサイトのトップ URL を入力します。
- 例:
https://hamagami529.com - 例:
https://example.com/products
2-2. クロール範囲を選ぶ
| 範囲 | 動作 | 使いどころ |
|---|---|---|
| ドメイン全体 | サイト内のすべてのページを巡回 | 通常はこちら |
| 指定パス以下のみ | 特定のフォルダ以下だけ巡回 | 商品ページだけ取り込みたい等 |
「指定パス以下のみ」を選んだ場合、対象パス(例:/products/)を入力します。
2-3. 除外パスを設定(任意)
「ログインページは取り込みたくない」「ブログのタグページは要らない」といった場合、除外したい URL パターンを入力します。
- 例:
/login,/cart,/tag/
ワイルドカード(*)も使えます。
2-4. 取り込むページ数の上限を設定
大規模サイトの場合、上限を設定して取り込み量をコントロールします。
- 最大ページ数:50 / 100 / 500 / 上限なし
ポイント: 最初は 50〜100 ページで試して、問題なければ増やすのがおすすめです。プランごとの上限も自動表示されます。
2-5. 保存してクロール開始
「保存してクロール開始」ボタンをクリック。AI が即座にクロールを開始します。
ステップ 3: クロール進捗を確認する
一覧画面に戻ると、追加したクロール元の行に進捗が表示されます。
| 表示 | 意味 |
|---|---|
| クロール中 | 巡回が進行中(ページ数によっては数分〜数時間) |
| 完了 | クロール終了、知識ベースに反映済み |
| 一部失敗 | 一部のページが取り込めなかった(詳細を確認) |
| エラー | サイトにアクセスできない等の問題 |
「詳細を見る」をクリックすると、取り込んだページのリスト・URL・取り込み日時を確認できます。
ステップ 4: 自動再クロールを設定する
クロール元の詳細画面で、自動再クロールの頻度 を選びます。
| 頻度 | 動作 |
|---|---|
| 毎日 | 毎日深夜に再クロール(更新が頻繁なサイト向け) |
| 週 1 回 | 毎週日曜深夜に再クロール(標準) |
| 月 1 回 | 月初の深夜に再クロール(更新少なめ向け) |
| 手動のみ | 自動再クロールしない(必要な時だけ手動実行) |
ポイント: 標準は「週 1 回」がおすすめです。サイト更新が頻繁な業種(不動産・求人等)は「毎日」を選んでください。
ステップ 5: 取り込んだ情報を確認する
/admin/manual を開くと、クロールで取り込んだ内容が「クロール由来」のタグ付きで一覧表示されます。
不要なページは個別に削除できます。AI に覚えてほしくないページは削除しておきましょう。
動作確認
クロール完了後、ご自身のサイトのウィジェットで、サイト内に書かれている情報を聞いてみてください。
- 「会社の住所は?」 → 会社概要ページの情報を引用して回答
- 「営業時間は?」 → 店舗情報ページの内容を引用
AI が「サイトに書かれている内容そのまま」を答えてくれれば、クロールが正しく機能しています。
よくある質問
| 質問 | 回答 |
|---|---|
| ログインが必要なページもクロールできますか? | いいえ。ログイン保護されたページはクロールできません |
| クロール頻度を変えるとどうなりますか? | 「毎日」にすると更新は早いですがサーバー負荷が増えます。サイトサイズに合わせて選んでください |
| 取り込みに失敗したページはどうしますか? | 「詳細を見る」で失敗した URL を確認し、必要なら /admin/manual から手動登録してください |
| 画像や PDF も取り込まれますか? | テキストのみ取り込みます。PDF を取り込みたい場合は「キーワード誘導」で PDF を案内する形を推奨します |
| プランごとのページ数上限は? | Light: 50 件 / Standard: 200 件 / Pro: 1,000 件 / Enterprise: 無制限 |
| robots.txt は守られますか? | はい、サイトの robots.txt の指示に従ってクロールします |
| クロールを止めたい時は? | 一覧画面で該当行の「無効化」ボタンを押せば停止します。削除すると取り込み済みデータも消えるので注意 |
それでも解決しない時
info@scirnex.com までお気軽にお問い合わせください。