運用責任者
請求書のレイアウトは変化し、項目の意味も仕入先によって異なる。
項目の定義に合意し、トレーニングで不明確な入力データが解決できると考える前に、抽出を個別にテストする。
機能ガイド
AIビルダーでモデルをトレーニングするワークフローへの取り組み方
AIビルダーでモデルをトレーニングするワークフローは、具体的なタスク、代表的な例、結果を評価する方法から始まります。まず、モデルをトレーニングする必要が本当にあるかを判断します。プロンプト、ルール、既存のモデルを使えば、保守の負担を減らしながら問題を解決できる場合があります。
前提条件
AIビルダーのワークフローを選ぶ前に、入力、望ましい出力、正解の条件を書き出します。準備中にすべての例を使うのではなく、評価用に別の例のセットを用意します。
前提条件：制限を把握する
このガイドは計画の補助資料であり、リンク先の製品がトレーニング用のインターフェースを提供していることや、特定のモデルタイプをサポートしていることを証明するものではありません。
1
トレーニングの保証なし
この引き継ぎに従っても、タスクでカスタムモデルのトレーニングを利用できるとは限りません。
代わりに行うこと
特定のインターフェースを前提にデータを準備する前に、提供先の現在の機能を確認してください。
2
データの利用権を自動的に取得できるわけではない
ファイルを所有していても、その内容をモデルのトレーニングに使用する許可があるとは限りません。
代わりに行うこと
まず、同意、ライセンス、保存期間に関する要件、組織のポリシーを確認してください。
3
品質保証はありません
例を増やしても、ラベルの不一致や、準備に使ったデータを繰り返すテストセットは補えません。
代わりにすべきこと
ラベルの不一致を解消し、評価用に未使用のケースを確保します。
一連の手順を通した例
あるチームが、届いたサポートメッセージをトピック別に分類したいとします。目指すのは、1つの例に対してもっともらしい回答を出すことではなく、再現可能な判定を行うことです。
-
1
出力を定義する
トピックを少数に絞り、それぞれの判定ルールを作成します。メッセージが2つのトピックにまたがる場合や、どれにも当てはまらない場合の扱いを指定します。典型的なメッセージと判断が難しいメッセージを数件選び、期待されるトピックを記録します。
-
2
例を準備して分ける
不要な機密情報を削除し、ラベルの一貫性を確認したうえで、準備段階では使用しないメッセージを取り分けます。評価セットには、出現頻度の低いトピックも含めます。
-
3
実行可能な最もシンプルな方法を試す
まず、明確な指示とラベル付きの例を試します。AIビルダーのモデル学習オプションが実際に利用できる場合は、同じ未使用のメッセージでその方法とベースラインを比較し、採用する前にトピック別の誤りを調べます。
選択肢の比較表
どちらが適しているかは、方法の名前に「学習」が含まれるかどうかではなく、タスクと確認済みの機能によって決まります。
| プロンプトまたは既存のモデル | カスタム学習済みモデル | |
|---|---|---|
| 出発点 | 指示を作成し、タスクの背景情報を提供します。 | タスクを定義し、ラベル付きの例を準備します。 |
| データ要件 | 説明用の例がいくつか必要になる場合があります。 | 使用する学習方法に適した例が必要です。 |
| 評価 | 未使用の入力でテストし、誤りを確認します。 | 未知の入力でテストし、ベースラインと比較する。 |
| ラベルの変更 | 指示を修正して再テストする。 | ラベル、データ、再トレーニングのプロセスを確認する。 |
| 継続的な作業 | 指示を維持し、結果を確認する。 | データ品質を維持し、モデルの動作を監視する。 |
| 最初に行うべき確認 | 明確な指示で受け入れ基準を満たせるか？ | 測定された改善は、追加の維持管理に見合うか？ |
失敗するケース
モデルは、見慣れた例では成功しているように見えても、実際のワークフローが曖昧だったり、一貫していなかったり、別の方法で処理したほうが適切だったりする場面では失敗することがある。
財務アナリスト
望ましい結果は、明示された入力から正確な金額を導き出すことだ。
モデルに算術を概算させるのではなく、検証可能な数式を使用する。
サポートマネージャー
トピックのラベルは、チームが例を確認するよりも速く変化する。
トレーニングサイクルに進む前に、現在の指示とテストケースを明確にする。
失敗するケース：テストされていない引き継ぎ
利用可能なツールを調べる前に、入力、期待される出力、いくつかの難しい例について説明します。提供先の実際の機能を確認してから、提案する方法を、まだ見ていないケースで単純なベースラインと比較します。
よくある質問
具体的な製品、データの種類、タスクによって異なります。一般的なAIビルダーにカスタムトレーニングが含まれているとは限らないため、例をアップロードする前に、現在の機能とデータの取り扱い条件を確認してください。
1つのタスク、一貫した出力、許容できる結果の基準を定義します。使用が許可された例を準備し、その後、テスト用に別のケースを確保します。
必ずしもそうとは限りません。まずはプロンプトまたは既存のモデルをベースラインとして使い、利用可能な方法が、まだ見ていない例で意味のある改善を生み出す場合にのみ、トレーニングを検討してください。
準備に使用していない例でテストし、結果をベースラインと比較します。少数の成功例だけに頼るのではなく、曖昧なケースや珍しいケースを含め、エラーをカテゴリ別に確認してください。