ヘルプセンター / 設定マニュアル
04 知識・Q&A 設定

クロール設定(URL 自動取り込み)

自社サイトの URL を 1 つ登録するだけで、AI が 自動的にサイト内を巡回(クロール)して、ページ内容を読み取り、知識ベースに取り込む 機能です。

この機能でできること

自社サイトの URL を 1 つ登録するだけで、AI が 自動的にサイト内を巡回(クロール)して、ページ内容を読み取り、知識ベースに取り込む 機能です。

商品ページ・会社概要・料金表・ブログ記事など、サイトに載っている情報を 1 ページずつコピペして登録する手間がなくなります。一度設定すれば 週 1 回、自動で再クロール されるので、サイト更新があっても AI の知識が自動で最新化されます。

サイトが大きい(10 ページ以上ある)場合に特に効果が高い機能です。

設定の前に準備するもの

  • AI BOOTH の管理者権限
  • 取り込みたいサイトの URL(自社サイトのトップページ URL でOK)
  • そのサイトが Google でアクセス可能なこと(ログインが必要な会員向けページはクロール不可)

料金について: クロール機能の利用自体は完全に無料です。プラン内で利用できます。ただし取り込めるページ数の上限はプランによって異なります。

用語解説

用語 わかりやすく言うと
クロール AI(ロボット)がサイトを自動的に巡回してページ内容を読み取ること
クロール元(ソース) クロールの起点となる URL(通常はサイトのトップページ)
取り込み済みページ クロール結果として知識ベースに保存されたページ
再クロール 同じサイトをもう一度巡回して内容を更新すること
除外パス 「このページは取り込まなくて良い」と指定する URL パターン

ステップ 1: クロール設定画面を開く

AI BOOTH の管理画面にログインし、左サイドバーで以下の順にクリック:

  1. 「知識ベース」をクリックして展開
  2. 「クロール設定」をクリック

または直接 /admin/sources にアクセス。

クロール設定画面

画面には、登録済みのクロール元と、そこから取り込んだページ数が一覧表示されます。

ステップ 2: 新しいクロール元を追加する

画面右上の 「+ クロール元を追加」 ボタンをクリック。入力フォームが開きます。

2-1. URL を入力

取り込みたいサイトのトップ URL を入力します。

  • 例:https://hamagami529.com
  • 例:https://example.com/products

2-2. クロール範囲を選ぶ

範囲 動作 使いどころ
ドメイン全体 サイト内のすべてのページを巡回 通常はこちら
指定パス以下のみ 特定のフォルダ以下だけ巡回 商品ページだけ取り込みたい等

「指定パス以下のみ」を選んだ場合、対象パス(例:/products/)を入力します。

2-3. 除外パスを設定(任意)

「ログインページは取り込みたくない」「ブログのタグページは要らない」といった場合、除外したい URL パターンを入力します。

  • 例:/login, /cart, /tag/

ワイルドカード(*)も使えます。

2-4. 取り込むページ数の上限を設定

大規模サイトの場合、上限を設定して取り込み量をコントロールします。

  • 最大ページ数:50 / 100 / 500 / 上限なし

ポイント: 最初は 50〜100 ページで試して、問題なければ増やすのがおすすめです。プランごとの上限も自動表示されます。

2-5. 保存してクロール開始

「保存してクロール開始」ボタンをクリック。AI が即座にクロールを開始します。

ステップ 3: クロール進捗を確認する

一覧画面に戻ると、追加したクロール元の行に進捗が表示されます。

表示 意味
クロール中 巡回が進行中(ページ数によっては数分〜数時間)
完了 クロール終了、知識ベースに反映済み
一部失敗 一部のページが取り込めなかった(詳細を確認)
エラー サイトにアクセスできない等の問題

「詳細を見る」をクリックすると、取り込んだページのリスト・URL・取り込み日時を確認できます。

ステップ 4: 自動再クロールを設定する

クロール元の詳細画面で、自動再クロールの頻度 を選びます。

頻度 動作
毎日 毎日深夜に再クロール(更新が頻繁なサイト向け)
週 1 回 毎週日曜深夜に再クロール(標準)
月 1 回 月初の深夜に再クロール(更新少なめ向け)
手動のみ 自動再クロールしない(必要な時だけ手動実行)

ポイント: 標準は「週 1 回」がおすすめです。サイト更新が頻繁な業種(不動産・求人等)は「毎日」を選んでください。

ステップ 5: 取り込んだ情報を確認する

/admin/manual を開くと、クロールで取り込んだ内容が「クロール由来」のタグ付きで一覧表示されます。

不要なページは個別に削除できます。AI に覚えてほしくないページは削除しておきましょう。

動作確認

クロール完了後、ご自身のサイトのウィジェットで、サイト内に書かれている情報を聞いてみてください。

  • 「会社の住所は?」 → 会社概要ページの情報を引用して回答
  • 「営業時間は?」 → 店舗情報ページの内容を引用

AI が「サイトに書かれている内容そのまま」を答えてくれれば、クロールが正しく機能しています。

よくある質問

質問 回答
ログインが必要なページもクロールできますか? いいえ。ログイン保護されたページはクロールできません
クロール頻度を変えるとどうなりますか? 「毎日」にすると更新は早いですがサーバー負荷が増えます。サイトサイズに合わせて選んでください
取り込みに失敗したページはどうしますか? 「詳細を見る」で失敗した URL を確認し、必要なら /admin/manual から手動登録してください
画像や PDF も取り込まれますか? テキストのみ取り込みます。PDF を取り込みたい場合は「キーワード誘導」で PDF を案内する形を推奨します
プランごとのページ数上限は? Light: 50 件 / Standard: 200 件 / Pro: 1,000 件 / Enterprise: 無制限
robots.txt は守られますか? はい、サイトの robots.txt の指示に従ってクロールします
クロールを止めたい時は? 一覧画面で該当行の「無効化」ボタンを押せば停止します。削除すると取り込み済みデータも消えるので注意

それでも解決しない時

info@scirnex.com までお気軽にお問い合わせください。

このページで解決しなかったら

このページに載っていない操作・トラブル・改善要望もすべて受け付けています。
営業日 24 時間以内 にご返信します。

info@scirnex.com にメール LP の問合せフォーム