回答精度を上げる

askrunの仕組み

回答精度を上げるにはaskrunの仕組みを少しだけ把握しておく必要があります。

askrunは意味検索とAIを組み合わせたAIチャットボットです。

従来の検索は, 単語検索が主流だった一方で, AIの発展により意味の近しい文章を検索するという技術が確立されました。

この技術を用いて, 大雑把に以下の流れで回答を生成しています。

1. ナレッジをアップロードする
2. チャットボットの質問と意味の近しいナレッジを意味検索で取得する
3. 取得したナレッジとカスタム指示を参照して回答を生成する

回答精度が低くなる時の主な要因

回答精度が低い, 「申し訳ありません。いただいた内容について、正確なご案内ができません。」となる原因は, 主に以下です。

1. 意味検索でナレッジを取得できていない

   1. 質問とナレッジの微妙な単語の差異を意味検索で捉えきれていない
   2. ナレッジのアップロードエラー

2. ナレッジは取得できているがAIが情報が足りないと判断している

回答精度を上げる手順

ナレッジをAIが参照しているかを調べる

アシスタント詳細画面にて, 質問を実行し, 「参考リンク」「参考内部データ」に質問で参照してほしいナレッジが存在しているかをチェックすることで調べられます。

参照している場合

意味検索は成功しているので, AIへの指示が問題です。以下の工夫が可能です。

• カスタム指示に, 自身のサービスの概要を軽く記載しておく

  • 背景情報の欠落していると, 質問とナレッジを結びつけられていない可能性があります

• 独自の単語を採用している場合, カスタム指示にその単語の意味を記述しておく

  • 独自の単語や言い回しはAIが知らないと質問と結びつけられません（例: askrunでいう「アシスタント」など）

• カスタム指示に, 少ない情報でもいいから返すように指示する

  • ハルシネーション対策により, 質問に完全に答えられる情報量を得た時のみ回答する仕組みになっており, 稀にそれが足枷になる場合があります

参照していない場合

意味検索が失敗しています。以下の工夫が必要です。

• ナレッジの内容を一般的な語句を使って記述する

• ナレッジの内容を500文字以内に押さえて端的なものにする。

• 1ファイル, 1URLにつき1つの内容にとどめる

• どうしても答えられない場合は, その質問をQとしたQ&Aを作る

また, URLの場合はアップロード時にエラーが起きている可能性もあります。編集ボタンよりチェックしてください。