Currai
LLMアプリの呼び出しと評価を追う可観測性基盤プロンプト、ツール、検索、コストを一か所で
主な特徴
使える場面
- 検索処理のタイムアウトが回答を壊している原因を見つける
- 二つのプロンプト版を品質と費用で比較する
- 評価の低い回答をまとめて分析する
使い方
- 1 登録して7日間のトライアルを始める
- 2 モデル事業者やツールと連携する
- 3 トレースを記録し、ダッシュボードを調べる
- 4 評価基準とA/Bテストを設定する
- 5 プロンプトを管理し、コストデータを分析する
こんな方におすすめ
メリット
- 呼び出しとツールの全体像を把握できる
- A/Bテストが推測ではなく実際のトラフィックに基づく
- 一般的なモデル事業者と連携できる
制限事項
- 計測のための組み込み作業が技術スタックに追加される
- トライアルは7日間だけ
- 評価は基準を整備しないと意味が薄い
Currai とは
Curraiは、LLMアプリケーション向けの可観測性プラットフォームです。大規模言語モデルで開発すると、回答が悪い原因がプロンプトにあるのか、検索処理にあるのか、ツール呼び出しにあるのか、モデル自体にあるのかを切り分ける必要が生じます。Curraiはモデル呼び出し、ツール実行、検索処理を記録し、利用者、セッション、レイテンシ、費用、独自のメタデータで絞り込める階層的なトレースとして示します。そこから、LLMによる評価、独自ルール、手動レビューで出力を判断し、本番トラフィックやプロンプト実験にも同じ評価を適用できます。7日間の無料トライアルがあります。
できること
- 呼び出し、ツール実行、検索処理をトレースする
- LLM評価、独自ルール、手動レビューで出力を評価する
- 本番トラフィックでプロンプトのA/Bテストを行う
- プロンプトをコードベースの外で管理し、ワンクリックでデプロイとロールバックをする
- モデルとプロンプトごとにレイテンシ、トークン使用量、費用を分解する
こんな人に向いています
- LLM機能を出荷するAI開発チーム
- プロンプトとモデルを比較するデータサイエンティスト
- 稼働中のシステムを見守る運用チーム
注意点
アプリに計測コードを組み込むには工数がかかり、導入直後にすぐ価値が出るわけではありません。7日間のトライアルは、長期的な品質の傾向を測るには短い可能性があります。評価は設定した基準次第なので、良い回答とは何かを明確に定義する時間が必要です。コスト追跡は役立ちますが、予算には人の確認が必要です。書き出したファイルには一貫した名前を付け、アーカイブして後から見つけられるようにし、重要なデータの控えも残してください。品質が重要なときは、まず小さな下書きを書き出して結果を確認し、その後に最終版を作ります。生成された提案は参考用であり、専門的な判断や重要なデータに関わる内容は検証してください。
よくある質問
Curraiとは何ですか?
LLMアプリケーション向けの可観測性プラットフォームで、追跡、評価、プロンプト管理、A/Bテスト、コスト分析を扱います。
何をテストできますか?
本番トラフィックをプロンプト版に分け、実際の利用者の要求で品質、レイテンシ、トークン、費用を比較できます。
トライアルはどのくらいありますか?
無料トライアルは7日間です。
無料で使える理由
公式ページの記載内容: 無料トライアル
無料の上限、トライアル期間、機能は公式サイトが決定し、いつでも変更される場合があります。
製品プレビュー
一覧ページから保存したスクリーンショットです。プレビュー専用です。