SnowflakeがTruEra AI可観測性プラットフォームを買収したとき、私たちはTruLensのオープンソース化に取り組んできました。私たちはその約束を守り、強調しています。私たちの目標は、LLMアプリ開発者による信頼性の高い生成AIアプリケーションの作成をサポートすることです。
買収後数週間で、次のようなエコシステムに優しい機能強化をすでに追加しています。
- 接地性フィードバック評価の並列化
- LangChain 0.2倍以上のリトリーバーをサポート
- コンテキストフィルタリングガードレール
- TruLensダッシュボードのクエリ最適化により、ベンチマーク速度を4～32倍に向上
私たちは、Snowflakeを利用しているかどうかにかかわらず、コミュニティ全体にメリットをもたらす機能強化と改善を継続的に行う予定です。
Snowflakeは、AIエコシステムに価値を提供するオープンソースプロジェクトに注力しています。TruLensの成長に対するこの継続的なコミットメントを共有することに加えて、OSS SnowflakeプロジェクトがTruLensユーザーがオープンソースでより良いLLMアプリを構築できるようにする方法をいくつか共有したいと思います。Snowflakeは、Streamlitアプリフレームワーク、Modinライブラリ、Arctic基盤モデルなど、TruLensを補完するオープンソースプロジェクトの安定版を維持します。
TruLens ❤️ Streamlit
Streamlitにより、生成AIビルダーは、あらゆるAIに対応する使いやすいユーザーインターフェースをこれまで以上に簡単に展開できるようになります。Streamlitは創業以来、TruLens UIの基盤です。Streamlitチームと連携することにより、TruLensはStreamlitの新機能をより迅速に活用できるようになります。将来のリリースでは、Streamlitですでに構築しているアプリケーションにTruLensコンポーネントをさらに簡単に追加することも計画しています。
TruLens ❤️ Arctic LLM
Snowflakeは最近、オープンソースでアークティック基礎モデルファミリーをリリースしました。わずか2行のコードでTruLensのフィードバック機能を強化できるようにしました。
from trulens_eval.feedback.provider import Cortex
provider = Cortex(model_engine="snowflake-arctic")クイックスタート全文はGithubでご覧いただけます。TruLens + Arcticクイックスタート
これらのモデルは、他のOSSモデルと比較してパフォーマンスとレイテンシーの良いトレードオフを提供しながら、すぐにTruLensフィードバック関数に接続できます。
以下に、SummEvalデータセットを使用した接地性ベンチマークのベースモデルとして、Arctic Instructの最初のベンチマーク結果を示します。オープンソースのArctic Instructは、他のSOTAモデルと同等の精度とレイテンシーを提供します。
基本モデルごとの接地タスク性能
TruLensベンチマークの詳細については、こちらをご覧ください。
現在、私たちはこの取り組みに着手し、エコシステム全体に利益をもたらす形で、オープンソースでのTruLens-Evalの開発を継続できることを嬉しく思います。