P.01
試作は 動くが、精度が 安定しない
デモでは想定どおりに動く。けれど入力が変わると結果がぶれ、どこを直せば改善するのかも分からない状態になります。
Definition
目的を
文章を生成させるだけの実装とは、必要になる設計が異なります。外部システムを操作し、複数ステップを自分で進めるため、精度をどう測り、失敗時にどう戻すかを先に決める必要があります。
| 観点 | 従来の生成AI活用 | AIエージェント |
|---|---|---|
| 入力 | 都度プロンプトを書く | 目的を渡すと手順を自分で組む |
| 処理 | 1回の応答で完結 | 複数ステップを自律的に実行 |
| 外部連携 | 基本的になし | API・社内システムを操作する |
| 開発の | 出力の調整 | 精度の測定と失敗時の切り戻し |
| 保守 | プロンプトの修正 | 評価の仕組みと構成の維持 |
入力
処理
外部連携
開発の
保守
エージェント開発でつまずく箇所は決まっています。よくある4つに、それぞれ手を打ちます。
P.01
デモでは想定どおりに動く。けれど入力が変わると結果がぶれ、どこを直せば改善するのかも分からない状態になります。
P.02
社内のデータを参照させたい、基幹システムを操作させたい。けれど接続方式と権限の設計が決まらず、単体でしか動かせません。
P.03
何をもって合格とするかが決まっていないため、リリースの判断ができません。改修しても良くなったかどうかが分かりません。
P.04
プロンプトも構成も作った本人の頭の中にしかなく、担当が変わった時点で改修が止まります。
01
何を任せたいのかの整理から、設計・実装・評価・リリース・運用保守までを同じチームで担当します。工程ごとに会社が変わることによる認識のずれが起きません。要件が固まっていない構想段階からご相談いただけます。
02
実際の業務データをもとにテストケースを用意し、採点できる状態を先に作ります。どの水準を満たせば合格かを合意してから実装に入るため、完成後に品質を判断できない状態になりません。
03
設計意図とプロンプトの構成をドキュメントとして残し、評価の仕組みもあわせてお渡しします。納品後に自社で改修を続けられる状態を前提に設計します。
任せたい業務の性質によって、必要な構成は変わります。単体で足りるのか、分割すべきかも含めてご提案します。
T.01
手順のある業務を一連で引き受けるエージェントです。申請処理、データ入力、定型的な確認作業などを対象とします。例外時の扱いもあわせて設計します。
T.02
社内文書やデータベースを参照し、根拠を示しながら回答するエージェントです。検索対象の設計と、参照権限の制御を含めて構築します。
T.03
役割を分けた複数のエージェントを連携させる構成です。単体で精度を確かめてから分割する進め方をおすすめしています。
T.04
既存の業務システムやAPIをエージェントから操作できるようにします。接続方式とアクセス権限をあわせて設計します。
どんな業務を任せ、どの水準まで到達したのか。開発の内容とあわせてご紹介します。
Coming soon
開発事例は
秘密保持の都合上、掲載には個別の許諾が必要なため、順次公開してまいります。ご相談の場では、業務や構成の近い開発事例について、可能な範囲で具体的にお話しします。
任せる業務の複雑さと、求める精度の水準で決まります。ヒアリング後に、スコープ案ごとの概算をご提示します。
| 費用が決まる要素 | 考え方 |
|---|---|
| 任せる | 手順の数と分岐の多さ、例外処理の必要性で変動します。 |
| 連携先の | 接続する既存システム・データソースの数で変わります。 |
| 求める | 評価基準をどこに置くかで、必要な検証工数が変わります。 |
| 運用保守 | リリース後の精度監視・改修を継続するかどうかで変わります。 |
任せる
連携先の
求める
運用保守
小さく試してから広げる進め方もご提案できます。ご予算の範囲がお決まりの場合は、その中で何が作れるかをご提案します。
評価を独立した工程として置いています。作ってから測るのではなく、測れる状態を作ってから実装します。
STEP 01
初回〜2週間
何をどこまで任せるかを整理し、実現できる範囲と難易度をふまえてスコープを決めます。
Deliverables
STEP 02
2〜4週間
エージェントの役割と手順を設計し、最小構成で動かして方向性を確かめます。
Deliverables
STEP 03
案件により変動
本実装と並行して、評価データセットで採点しながら精度を引き上げます。
Deliverables
STEP 04
リリース後
本番リリースと、その後の精度監視・改修に対応します。
Deliverables
その状態からのご相談が最も多いパターンです。何をどこまで任せたいのかを一緒に整理し、実現できる範囲と難易度をふまえてスコープを決めます。
業務と入力データの性質によって変わるため、着手前に評価の基準を決めます。どの水準を満たせば合格とするかを合意してから作るため、完成後に判断できない状態にはなりません。
実際の業務データをもとにテストケースを用意し、期待する出力と照らして採点できる状態を作ります。改修のたびに精度が下がっていないかを確認できるようにします。
対応しています。社内データを参照させるRAGの構築、既存APIの呼び出し、MCPを介した連携まで設計・実装します。アクセス権限の設計もあわせて行います。
対応しています。ただし最初から複数構成にすると切り分けが難しくなるため、単一構成で精度を確かめてから分割する進め方をおすすめしています。
引き継げる状態で納品することを前提にしています。設計意図とプロンプトの構成をドキュメントとして残し、評価の仕組みもあわせてお渡しします。
任せる業務の複雑さ、連携先の数、求める精度の水準によって変わるため、個別にお見積りいたします。ヒアリング後にスコープ案ごとの概算をご提示します。
業務の棚卸しや適用領域の選定から入る場合は「AIエージェント導入支援」としてお受けしています。
Related
導入の進め方から相談するならAIエージェント導入支援へ