Ihre Unternehmensdaten brauchen einen Agenten

KI-Agenten – autonome Systeme, die Aufgaben mithilfe von KI ausführen – können die Geschäftsproduktivität steigern, indem sie komplexe, mehrstufige Vorgänge in wenigen Minuten bewältigen. Mitarbeitende müssen auf die ständig wachsenden strukturierten und unstrukturierten Daten eines Unternehmens zugreifen, um effektiv und zuverlässig zu sein. Mit zunehmenden Datenverbindungen wird die Verwaltung von Zugriffskontrollen und das effiziente Abrufen präziser Informationen – bei gleichzeitiger Einhaltung strenger Datenschutzprotokolle – immer komplexer.

Agenten-Outputs sind nur so gut wie die Qualität der zugrunde liegenden Daten und die Genauigkeit der Abrufsysteme, die die Grundlage bieten. Doch Unternehmen haben aufgrund eines Missverhältnisses von KI und Daten damit zu kämpfen, den Weg in die Produktion zu ebnen. LLMs eignen sich hervorragend für unstrukturierte Daten, doch vielen Unternehmen fehlen ausgereifte Aufbereitungspraktiken für diese Art von Daten. Strukturierte Daten hingegen sind leichter zu managen, aber es bleibt eine Herausforderung, LLMs das Verständnis von Zeilen und Spalten zu ermöglichen. 

Snowflake-Kunden haben nun eine einheitliche Plattform, mit der sie strukturierte und unstrukturierte Daten sofort gebrauchsfertig mit hoher Genauigkeit verarbeiten und abrufen können. Durchgängige, einheitliche Governance, von der Erfassung bis zur Anwendung, ermöglicht es Teams, eine neue Welle von Datenagenten bereitzustellen. Kunden können skalierbare Lösungen entwickeln und gleichzeitig Zugriffs- und Datenschutzkontrollen durchsetzen. 

Notwendigkeit von Datenagenten

Wir bei Snowflake sind davon überzeugt, dass KI-Agenten bald für die Belegschaft in Unternehmen unverzichtbar sein werden, um die Produktivität von Teams im Kundensupport, in der Außendiensttechnik, in der Analytik, im Engineering und darüber hinaus zu steigern. So gewinnen sie wertvolle Zeit für die Mitarbeitenden, um sich auf höherwertige Herausforderungen zu konzentrieren. Datenagenten, eine spezialisierte Kategorie von KI-Agenten, kombinieren Daten und Tools, um genauere, fundiertere Erkenntnisse zu liefern, indem sie effektiv die richtigen Datenquellen und Tools für den Abruf auswählen. 

Damit KI-Agenten in großem Umfang arbeiten können, benötigen sie eine sichere Verbindung mit Unternehmensdaten und eine einheitliche Governance, um ihren Zugriff zu verwalten, ähnlich wie die bestehenden Kontrollen für Ihre Teams. Sie müssen Datenrichtlinien einhalten, effizient auf mehrere Quellen zugreifen und genaue Informationen abrufen, um zuverlässige und hochwertige Ergebnisse zu erzielen.  

Wir wissen jedoch, dass diese agentische Zukunft Herausforderungen mit sich bringt, die ihrem Potenzial entsprechen. Während die Modellqualität steigt und die Inferenzkosten sinken, sehen wir dieselben Herausforderungen bei Unternehmen, die vertrauenswürdige Agentensysteme in großem Umfang einsetzen wollen:

• Genauigkeit (Korrektheit): In puncto Qualität gibt es in Unternehmensanwendungen eine hohe Messlatte für Agentenoutput; die Fehlerquote ist gering, insbesondere bei geschäftskritischen Funktionen wie Finanzen oder Engineering.

• Vertrauen und Sicherheit: Während Kunden datenintensivere KI-Anwendungen entwickeln, stellt die Einhaltung von Sicherheits- und Governance-Richtlinien eine zunehmende Herausforderung dar.

• Kontrollierter Datenzugriff: Mitarbeitende benötigen Zugriff auf eine Vielzahl von Datenquellen, um zuverlässig im geschäftlichen Kontext arbeiten zu können. Dazu gehören sowohl unstrukturierte (z. B. Text, Audio) als auch strukturierte (z. B. Tabellen, Ansichten) Datenquellen, die oft über mehrere Systeme verstreut sind.

Der Schlüssel zur Skalierung von Agentenworkflows, die Daten nutzen, ist die nahtlose Interaktion zwischen Modellen und Daten bei gleichzeitiger Gewährleistung von Genauigkeit, Vertrauen und Compliance. Ein Finanzanalyst muss beispielsweise Umsatzdaten (strukturiert) mit Finanzberichten und Marktforschung (unstrukturiert) kombinieren. Diese Anwendungsfälle in Unternehmen benötigen sicheren Zugriff auf Daten und eine Möglichkeit, der KI die richtigen Informationen bereitzustellen, mit durchgängiger Governance. 

Um dieses Problem anzugehen, führen wir Cortex Agents ein, einen vollständig verwalteten Dienst, der die Integration, den Abruf und die Verarbeitung strukturierter und unstrukturierter Daten vereinfacht und Snowflake-Kunden dabei hilft, hochwertige Agenten in großem Umfang zu erstellen.

Cortex Agents: ermöglicht Unternehmen den KI-Einsatz

Cortex Agents, jetzt in Public Preview verfügbar, orchestriert über strukturierte und unstrukturierte Datenquellen hinweg – seien es Snowflake-Tabellen oder PDF-Dateien, die im Objektspeicher gespeichert sind – und liefert so Einblicke. Mithilfe von Cortex Search, Cortex Analyst und LLMs brechen sie komplexe Abfragen auf, rufen sie relevante Daten ab und generieren sie präzise Antworten. Das ermöglicht Genauigkeit, Effizienz und Governance in jedem Schritt. 

Was sind Cortex Agents?

Cortex Agents planen Aufgaben, nutzen Tools, um sie auszuführen, und reflektieren Ergebnisse, um die Reaktionen zu verbessern. Cortex Agents ist als praktische REST-API verfügbar und lässt sich nahtlos in jede Anwendung integrieren. Agenten nutzen Cortex Analyst (strukturiertes SQL) und Cortex Search (unstrukturierte Daten) als Tools, um Antworten zu analysieren und zu generieren. Der Workflow umfasst vier Schlüsselkomponenten:

1. Planung: Anwendungen wechseln oft zwischen der Verarbeitung von Daten aus strukturierten und unstrukturierten Quellen. Denken Sie beispielsweise an eine dialogorientierte App, die Benutzeranfragen beantwortet. Eine geschäftliche Benutzerin fragt vielleicht zunächst nach Top-Vertriebspartnern nach Umsatz (strukturiert) und geht dann dazu über, sich nach einem Vertrag zu erkundigen (unstrukturiert). Cortex Agents kann eine Anfrage zur Orchestrierung eines Plans analysieren und zu einer Antwort gelangen: 

• Entdecken von Optionen: Wenn der Benutzer eine mehrdeutige Frage stellt (z. B. „Erzähl mir von Acme Supplies“), berücksichtigt der Agent verschiedene Permutationen – Produkte, Standorte oder Vertriebspersonal –, um zu disambiguieren und die Genauigkeit zu verbessern.
• Unterteilung in Teilaufgaben: Cortex Agents kann eine Aufgabe oder Anfrage (z. B. „Was sind die Unterschiede zwischen den Vertragsbedingungen für Acme Supplies und Acme Stationery?“) in mehrere Teile aufteilen, um eine präzisere Antwort zu erhalten.
• Nutzung mehrerer Tools: Der Agent wählt ein Tool aus – Cortex Analyst, Cortex Search oder SQL-Erstellung aus natürlicher Sprache – , um kontrollierten Zugriff und die Einhaltung von Unternehmensrichtlinien zu ermöglichen.

2. Verwendung von Tools: Wenn ein Plan vorhanden ist, kann der Agent Daten effizient abrufen. Cortex Search extrahiert Erkenntnisse aus unstrukturierten Quellen, während Cortex Analyst SQL generiert, um strukturierte Daten zu verarbeiten. Eine umfassende Unterstützung für die Identifizierung und Ausführung von Tools ermöglicht die Bereitstellung ausgefeilter Anwendungen, die auf Unternehmensdaten basieren.

3. Reflexion: Nach jedem Einsatz des Tools wertet der Agent die Ergebnisse aus, um die nächsten Schritte zu bestimmen – und bittet um Klärung, Iteration oder generiert eine endgültige Antwort. Dank dieser Orchestrierung kann Snowflake komplexe Datenabfragen bewältigen und gleichzeitig die Genauigkeit steigern und die Compliance-Kontrollen innerhalb des sicheren Snowflake-Umfelds beibehalten.

4. Überwachung und Iterierung: Nach der Bereitstellung können Kunden Kennzahlen verfolgen, die Performance analysieren und das Verhalten optimieren, um kontinuierliche Verbesserungen zu erzielen. Auf der Client-Anwendung können Entwickler:innen TruLens verwenden, um die Agent-Interaktion zu überwachen. Durch die kontinuierliche Überwachung und Optimierung von Governance-Kontrollen können Unternehmen KI-Agenten zuverlässig skalieren und gleichzeitig Sicherheit und Compliance gewährleisten. 

In Kombination mit anderen Snowflake-Angeboten bietet Cortex Agents nun eine End-to-End-Lösung zum Abrufen, Verarbeiten und Kontrollieren von strukturierten und unstrukturierten Daten in großem Umfang.  

Snowflake erweitert seine KI-Funktionen mit der Public Preview von Cortex Agents, um Dateneinblicke durch Orchestrierung über strukturierte und unstrukturierte Datasets hinweg abzurufen. Cortex Agents optimiert den Zugriff auf Daten über Agentenapplikationen und die Orchestrierung für zuverlässigere KI-gestützte Entscheidungen, indem es auf den Verbesserungen unserer Cortex AI-Abrufdienste aufbaut:

• Cortex Analyst, jetzt allgemein verfügbar mit Anthropic Claude als wichtiges LLM für den Abruf hochwertiger strukturierter Daten

• Cortex Search hat die Genauigkeit beim Abruf unstrukturierter Daten auf dem neuesten Stand der Technik erreicht und übertraf OpenAI-Einbettungsmodelle um mindestens 12 % in einer Vielzahl von Benchmarks, darunter (NDCG@10) 

Sehen wir uns nun an, wie Cortex Analyst die Analyse strukturierter Daten und die neuesten Innovationen zur Verbesserung seiner Funktionen verbessert.

Cortex Analyst: KI-gestützte Generierung von SQL mit semantischem Verständnis

Cortex Analyst kann als Tool innerhalb von Cortex Agents verwendet werden. 

Im Gegensatz zu herkömmlichen Text-zu-SQL-Systemen, die sich nur auf Musterabgleich verlassen, verwendet Cortex Analyst ein semantisches Modell, um Geschäftsbedingungen den zugrunde liegenden Daten zuzuordnen. Dieser einzigartige Ansatz verbessert die Präzision in Anwendungsfällen mit komplexen Multi-Tabellen-Umgebungen.

Was ist neu bei Cortex Analyst?

1. Bewältigung erhöhter Schemakomplexität

Cortex Analyst geht heute über Star-Schema und Snowflake-Schema-JOINs hinaus. Unsere neue, fortschrittliche JOIN-Validierung beseitigt häufige Probleme wie JOIN-Halluzinationen und Doppelzählung, die oft bei komplexen Abfragen auftreten. Cortex Analyst kann so Multi-Tabellen-Abfragen unterstützen, ohne Kompromisse bei der Genauigkeit einzugehen.

2. Erstellung und Überwachung von semantischen Modellen

Unsere Public Preview der neuen Analyst Admin-Benutzerschnittstelle in Snowsight vereinfacht den Prozess der Erstellung und Optimierung semantischer Modelle. Administrator:innen können Tabellen und Spalten auswählen und mit LLMs (die innerhalb des sicheren Umkreises von Snowflake ausgeführt werden) eine startende Semantic Model YAML-Startdatei generieren.

Die Admin-Oberfläche überwacht auch die Interaktionen und Rückmeldungen der Benutzer:innen. So können Kunden die Nutzung nachverfolgen und im Laufe der Zeit fundierte Verbesserungen an semantischen Modellen vornehmen.

3. Anpassung für geschäftsspezifische Logik

Mit Custom Instructions, jetzt in GA (allgemein verfügbar), können Benutzer:innen natürliche Sprache in der Semantic Model-Datei verwenden, um Cortex Analyst auf ihre individuellen Geschäftsanforderungen zuzuschneiden. Gängige Anwendungsfälle umfassen die Spezifizierung von Startdaten für Geschäftsjahre, die Erläuterung interner Namenskonventionen und die Priorisierung von Schlüsseltabellen bei der SQL-Erstellung.

4. Bewährte Performance bei Benchmarks

Basierend auf internen Benchmarks haben wir eine Genauigkeit von 90 % für Text-zu-SQL-Anwendungsfälle erreicht. Mit dem Claude 3.5 Sonette von Anthropic können wir die Performance weiter verbessern und so für ein noch besseres Erlebnis sorgen. Cortex Analyst, das auf Claude ausgeführt wird, übertrifft andere Modelle bei Abfragen aus der Praxis, indem es die im semantischen Modell gespeicherten Informationen nutzt.

Cortex Analyst verbessert mit diesen Updates die Analyse strukturierter Daten und vereinfacht Admin-Setup für Agentenanwendungen.

Cortex Search: hochwertige Kontext-Engine für unstrukturierte Daten

Cortex Agents nutzt Cortex Search, um unstrukturierte Daten (z. B. Text, Audio, Bild, Video) abzurufen. Cortex Search ist eine nativ hybride Suche, eine Kombination aus Vektor- und lexikalischer Suche (Stichwortsuche) mit einem zusätzlichen semantischen Reranking-Schritt, um einen qualitativ hochwertigen, skalierbaren Abruf mit geringer Latenz zu ermöglichen. 

Cortex Search erreicht modernste Qualität und übertrifft konkurrierende Enterprise Search Stacks in Bezug auf die Abrufgenauigkeit (NDCG@10) mit OpenAI-Einbettungsmodellen um mindestens 12 % in verschiedensten Benchmarks. Die Auswertungen wurden an einem repräsentativen Set von vier Public-Search-Benchmark-Datasets durchgeführt. Cortex Search, eine Hybridsuche mit Snowflake Arctic Embed L v2.0, wurde mit einem konkurrierenden cloudgehosteten Lucene-basierten Suchdienst (z. B. Azure AI Search, AWS OpenSearch, ElasticSearch) verglichen. Dabei wurde sowohl die Hybridsuche mit OpenAIs Text Embedding 3 Large als auch die Keyword-Only-Suche verwendet.

Was ist neu bei Cortex Search?

1. Gesteigerte Skalierbarkeit und Erschwinglichkeit

Cortex Search unterstützt nun die Indexierung von Hunderten Millionen von Zeilen. Darüber hinaus wurden die Bereitstellungskosten für Cortex Search durch Optimierungen der Infrastruktur um 30 % gesenkt.

2. Verbesserte Anpassbarkeit

Cortex Search bietet nun die Möglichkeit, das Vektoreinbettungsmodell für die semantische Suche auszuwählen. Dazu gehören zwei mehrsprachige Modelle: Snowflake-arctic-embed-l-v2.0 und voyage-multilingual-2. Darüber hinaus unterstützt Cortex Search die Datumsbereichsfilterung in Metadatenspalten.

3. Neue Preview-Funktionen 

Zu den neuen Preview-Funktionen gehören die Cortex Search Admin UI (für Beobachtbarkeit und Qualitäts-Tuning), das Boosting und das Abklingen von numerischen und Zeitsignalen, Ergebniskonfidenzwerte und erweiterte Filterfunktionen.

Mit diesen neuen Funktionen bietet Cortex Search eine skalierbare und anpassbare Grundlage für Such- und Agentenanwendungen, die auf Snowflake-Daten basieren.

Anthropische Modelle: Die SOTA-Modelle für Cortex Agents

Das intelligenteste LLM von Anthropic, das aktualisierte Claude 3.5 Sonnet, wird innerhalb von Snowflake ausgeführt, um fortschrittliches logisches Denken, Coding und komplexe Workflow-Ausführung in Unternehmensanwendungen zu ermöglichen, die dasselbe Governance-Framework wie die Daten verwenden. Dieses Modell unterstützt jetzt Cortex Analyst und kann in Cortex Agents verwendet werden. Das Ergebnis sind genauere Abfragen, fortschrittliche Analysen strukturierter Daten und effiziente Agentenworkflows, während gleichzeitig die Governance in großem Umfang beibehalten wird.

Mit Claude 3.5 Sonnet können Cortex Agents KI-gestützte Aufgaben präziser planen, orchestrieren, reflektieren und überwachen. Die Agentenfunktionen von Cortex werden durch die Unterstützung für die Toolnutzung und die strukturierte Ausgabe verbessert. Kunden können die multimodale Fähigkeit von Claude 3.5 Sonnet nutzen, um Erkenntnisse aus einem breiteren Satz unstrukturierter Daten zu gewinnen, darunter auch Bilder. Alle Interaktionen finden innerhalb der sicheren Umgebung von Snowflake statt und ermöglichen kontrollierten Zugriff und einheitliche Governance für alle Anwendungsfälle. 

Kunden können Claude 3.5 in Cortex Agents nutzen, um präzise, effiziente und kontrollierte KI in großem Umfang bereitzustellen und die Bereitstellung von GenAI-Anwendungen zu beschleunigen.

KI-Beobachtbarkeit: Bewertung und Nachverfolgung von KI-Agenten

KI-Beobachtbarkeit bringt Zuverlässigkeit, Performance und Vertrauen in GenAI-Anwendungen. Mit geeigneten Auswertungen und Überwachungen können Unternehmen genauere Ergebnisse erzielen, Kosten optimieren und ihre Governance-Anforderungen erfüllen.

Was ist neu an Cortex AI Observability? 

Cortex AI Observability auf Snowflake basiert auf TruLens und wird demnächst in Public Preview verfügbar sein.

1. End-to-End-Bewertung

KI-Beobachtbarkeit kann die Performance von Agenten und Apps mithilfe von Techniken wie LLM-as-a-Judge bewerten. Sie kann Metriken wie Relevanz, Fundiertheit und Schädlichkeit melden, sodass Kunden den Agenten schnell iterieren und optimieren können, um die Performance zu verbessern. 

2. Vergleich

Benutzer:innen können parallele Auswertungsläufe vergleichen und die Qualität und Genauigkeit der Antworten in verschiedenen LLM-Konfigurationen bewerten, um die beste Konfiguration für die Produktionsbereitstellung zu ermitteln.

3. Umfassendes Tracing

Kunden können die Protokollierung für jeden Schritt der Agentenausführung über Eingabeaufforderungen, die Toolnutzung und die Generierung der finalen Antwort aktivieren. Dies ermöglicht einfaches Debugging und Optimierung für Genauigkeit, Latenz und Kosten. 

Effektive Governance und Verarbeitung sowohl strukturierter als auch unstrukturierter Daten in Snowflake sind entscheidend für die Erstellung KI-fähiger Datasets, die Abrufdienste nutzen können. Snowflakes Unterstützung für unstrukturierte Daten umfasst Funktionen zum Speichern, Zugreifen, Verarbeiten, Verwalten, Kontrollieren und Teilen dieser Daten. Der Snowflake Connector für SharePoint überprüft, ob vorhandene Berechtigungen für sichere Zugriffskontrollen eingehalten werden. Darüber hinaus ermöglicht die Übernahme von Datavolo durch Snowflake die Abwicklung multimodaler Datenintegration und verstärkt so das Engagement für robuste Data Governance und Verarbeitung.

Dank Cortex AI Observability sind KI-Anwendungen effizienter und zuverlässiger für den Unternehmenseinsatz.

Die Zukunft der KI-Agenten

KI-Agenten gehen über die einfache Automatisierung hinaus und bewältigen dynamisch mehrstufige Aktionen und Denkansätze. Das ist eine deutliche Verbesserung gegenüber den heute meist reaktiven Softwaretools. Im Zuge der Weiterentwicklung von LLMs werden Mitarbeitende zusammenarbeiten, Aufgaben planen, ausführen und optimieren, was die Effizienz steigert und Kosten senkt. Agenten haben das Potenzial, Software- und Arbeitskosten um Größenordnungen zu reduzieren.

Cortex-Agenten nutzen Cortex Analyst, Cortex Search, Anthropics Claude-Modelle und AI Observability und bringen so Informationen auf die Grundlage eines einheitlichen Governance-Frameworks und einer effizienten Verarbeitungs-Engine für strukturierte und unstrukturierte Daten.  Anhand dieser Bausteine können Entwickler:innen Daten-Agenten entwickeln und bereitstellen, die über die REST API-Schnittstelle in die Applikation ihrer Wahl integriert werden können. Darüber hinaus können Unternehmen die Lösungen unserer Partner Sema4.ai und Seek AI nutzen.

Weitere Informationen

• Cortex Agents ausprobieren: Erstellen Sie Ihren ersten Cortex-Agenten.
• Demo ansehen: Sehen Sie Cortex Agents in Aktion.
• Mehr lesen: Erfahren Sie, wie Cortex Agents den Datenzugriff verbessert.