この機能でできること
AI の回答品質を毎日自動でチェックする機能です。「AI がうまく答えられなかった質問」「ユーザーから低評価を受けた回答」をダッシュボード上で一覧でき、改善の優先順位を判断できます。
設定の前に準備するもの
- AI BOOTH の管理者権限（オーナーまたは管理者）
- 1 件以上のチャット履歴（過去 7 日以内）
各指標の意味（用語解説）
| 指標 | わかりやすく言うと |
|---|---|
| 自信度（Confidence） | AI が「この回答にどれくらい自信があるか」を 0〜100 の数値で表したもの。低いほど「答えに自信がない」状態 |
| 自信度の平均 | 直近 1 ヶ月のすべての AI 回答の自信度の平均値 |
| 👎 率 | ユーザーが回答に「👎（よくなかった）」を押した割合（%） |
| 取次率 | AI が答えられず「人のスタッフにつなぎますね」と返した割合（%） |
| 判断基準（しきい値） | 「この数値まで下がったら問題あり」とする目安の値。閾値とも言います |
ステップ 1: 品質モニタを開く
左サイドバーの「接客・顧客対応」をクリックして展開し、「品質モニタ」をクリック。または直接 /admin/quality にアクセス。
ステップ 2: 各指標の現状を確認する
画面上部に 4 つの指標カードが並んでいます。それぞれの数値を以下の判断基準と比べてください。
自信度の平均
| 数値 | 状態 | 必要なアクション |
|---|---|---|
| 80 以上 | 健全 | 特に対応不要 |
| 60〜79 | やや低い | 知識ベースに足りない情報を追加 |
| 60 未満 | 要改善 | プロンプトと知識ベースの大幅見直し |
👎 率
| 数値 | 状態 | 必要なアクション |
|---|---|---|
| 5% 未満 | 健全 | 特に対応不要 |
| 5〜10% | やや高い | 個別の 👎 回答を点検 |
| 10% 以上 | 要改善 | プロンプトの全体見直し |
取次率（人につないだ割合）
| 数値 | 状態 | 必要なアクション |
|---|---|---|
| 10% 未満 | 健全 | 特に対応不要 |
| 10〜25% | やや高い | よく聞かれる質問への回答を追加 |
| 25% 以上 | 要改善 | 知識ベース全体を強化 |
ステップ 3: 改善対象の質問を一覧で見る
画面中央の「改善が必要な回答」セクションで、自信度が低かった質問や 👎 を押された質問が一覧表示されます。
各行の「内容を見る」ボタンをクリックすると、そのチャット履歴の詳細（質問・AI の回答・ユーザーの反応）が表示されます。
ステップ 4: 知識ベースに正しい回答を追加する
問題のある回答を見つけたら、以下の手順で改善します。
- その質問に対する「正しい回答」を考える
- /admin/manual を開く（手動知識管理画面）
- 画面右上の「+ 新しい質問と回答を追加」ボタンをクリック
- 「質問」欄に、ユーザーが言いそうな表現を入力（例：「料金はいくら？」「価格を教えて」など複数パターン）
- 「回答」欄に、AI に答えてほしい内容を入力
- 右下の「保存」ボタンをクリック
翌日以降の同じ質問には、新しい回答が使われるようになります。
ステップ 5: 改善の反映を確認する
知識ベースを追加してから 1〜2 日後に、品質モニタを再度開きます。
- 自信度の平均が上がっているか？
- 取次率が下がっているか？
- 同じ質問で 👎 が減っているか？
これらが改善していれば成功です。改善していなければ、登録した回答が質問の表現と一致していない可能性があります。質問の表現パターンを増やして再度試してください。
よくある質問
| 質問 | 回答 |
|---|---|
| 自信度はどう計算されますか？ | AI が回答するために参照した知識ベースとの一致度から自動算出されます |
| 👎 が押されたらすぐ通知されますか？ | はい、登録した通知先（Slack/Email など）に届きます |
| 取次率を下げるには？ | よく聞かれる質問を /admin/manual に追加してください |
| 過去 30 日以外の期間も見られますか？ | はい、画面上部の期間フィルタで「直近 7 日」「90 日」「カスタム」などに変更できます |
| 改善しても数値が変わりません | 知識ベース反映には 1〜2 日かかります。また「質問の表現」が登録時と異なると AI が一致を判定できない場合があります |
それでも解決しない時
info@scirnex.com までお気軽にお問い合わせください。