社内向けAIを検討する際、公開モデルを使えば自由に運用できると考えがちだ。
Hugging Face Transformersの公式READMEは、学習済みモデルを推論や学習に使うためのライブラリとして案内する。
ただし、ライブラリの利用条件と、個別モデルのライセンスや利用条件は同じではない。
目的に合うモデルを選ぶには、性能だけでなく運用の前提を確認したい。
実際の入力で評価する
公開ベンチマークの順位より、社内で使う文書や質問を少量選び、回答の正しさ、確認時間、誤りの種類を記録する。
日本語の業務文書を扱うなら、その形式で試す。
外部サービスへデータを送らずに使う構成でも、モデルの取得、更新、ログ保存の手順は設計が必要だ。
公式READMEは多くのモデルを扱うための道具を説明している。
どのモデルが商用利用できるか、必要な計算資源、入力データの扱いは、採用候補ごとの公式資料で確認する。
これらを確かめる前に顧客情報を投入しない。
自社運用を選ぶ場合は、更新と障害対応を担う人の時間も費用に含める。
選ばない判断も用意する
同じ業務を外部API、既存の業務ソフト、公開モデルで比較する。
費用だけでなく、精度と保守を同じ期間で見る。
公式READMEは日本の小規模企業での節約額を示す資料ではないため、利用量と作業時間を自社で測ってから継続を決めたい。
