社内文書をAIで検索・抽出したいとき、質問への回答以前に、元の資料を正しく読み込めるかが問題になる。
LlamaIndexの公式READMEは、オープンソースの開発基盤を案内するとともに、文書の解析や抽出を扱う関連製品を説明している。
文書を取り込めることと、表や注記を業務に必要な精度で読めることは分けて評価したい。
失敗しやすい資料を先に選ぶ
試用では、きれいなテキストだけでなく、表、画像、改訂履歴を含む実際の資料を少量選ぶ。
抽出結果を原本と突き合わせ、数値、単位、見出しの対応が保たれているか確認する。
誤りが見つかったときに、どのページと処理段階まで戻れるかも記録する。
日本語の帳票を使うなら、その形式の資料で評価しなければならない。
READMEはオープンソースのフレームワークと文書処理のプラットフォームを区別している。
使う機能によって、導入条件や費用、外部への文書送信の有無が変わる可能性がある。
機密文書を使う前に、選んだ構成の公式条件を確認する。
単なる全文検索で足りる業務なら、複雑なAI処理を追加する必要はない。
成果の数え方
抽出の正答率だけでなく、人による訂正時間、文書更新時の再処理、運用費用を記録する。
回答を業務判断へ使う場合は、誤答を見逃したときの影響も考える。
公式READMEの機能説明は、特定企業での時短や費用削減の実績ではない。
