Ankündigung von DeepSeek-R1 in Preview auf Snowflake Cortex AI
Wir freuen uns, DeepSeek-R1 für Snowflake Cortex AI verfügbar zu machen! Wie DeepSeek beschreibt, kann dieses Modell, das über groß angelegtes Verstärkungslernen (Reinforcement Learning, RL) ohne überwachte Optimierung (supervised fine-tuning, SFT) trainiert wird, in Mathematik-, Code- und Denkaufgaben eine mit OpenAI-o1 vergleichbare Performance erzielen. Basierend auf dem von DeepSeek veröffentlichten Benchmarking führt DeepSeek-R1 die Bestenliste unter den Open-Source-Modellen an und konkurriert mit den fortschrittlichsten Closed-Source-Modellen weltweit. Kundenunternehmen können ab sofort eine Early Preview von DeepSeek-R1 auf Cortex AI anfordern.
Im Rahmen der Private Preview konzentrieren wir uns darauf, den Zugang im Einklang mit unseren Produktprinzipien Einfachheit, Effizienz und Vertrauen zu ermöglichen.
Das Modell ist in Private Preview für serverlose Inferenz sowohl für Batches (SQL-Funktion) als auch für interaktive (Python und REST API) verfügbar. Um Zugang während der Preview zu erhalten, wenden Sie sich bitte an Ihr Sales-Team. Das Modell ist nur im angeforderten Konto verfügbar.
Das Modell wird in den USA innerhalb der Snowflake Service-Grenze gehostet. Wir geben keine Daten an den Modellanbieter weiter.
Sobald das Modell allgemein verfügbar ist, können Kunden den Zugriff auf das Modell über eine rollenbasierte Zugriffskontrolle (Role-Based Access Control, RBAC) verwalten. Kontoadministrator:innen können den Zugriff einschränken, indem sie die pro Governance-Richtlinie genehmigten Modelle auswählen.
Snowflake Cortex AI
Snowflake Cortex AI ist eine Suite integrierter Funktionen und Services, die vollständig verwaltete LLM-Inferenz, Feinabstimmung und RAG für strukturierte und unstrukturierte Daten umfassen. So können Kunden unstrukturierte Daten schnell neben ihren strukturierten Daten analysieren und die Entwicklung von KI-Apps beschleunigen. Kundenunternehmen können auf branchenführende LLMs zugreifen, sowohl Open-Source- als auch proprietäre, und diese problemlos in ihre Workflows und Anwendungen integrieren. Snowflake nutzte das Open-Source-Ökosystem mit der Unterstützung mehrerer LLMs von Meta, Mistral und Snowflake. Wir glauben, dass dieser offene Zugang und diese Zusammenarbeit den Weg für schnellere Innovationen in diesem Bereich ebnen werden.
DeepSeek-R1
Basierend auf dem GitHub-Beitrag von DeepSeek wandte das Team das Verstärkungslernen (Reinforcement Learning, RL) direkt auf das Basismodell an, ohne zuvor auf überwachte Optimierung (supervised fine-tuning, SFT) angewiesen zu sein. Dieser Ansatz erlaubte es dem Modell, Chain-of-Thought (CoT) zur Lösung komplexer Probleme zu untersuchen, was zur Entwicklung von DeepSeek-R1-Zero führte. Sie erwähnen außerdem, dass das ursprüngliche Modell Fähigkeiten wie Selbstüberprüfung, Reflexion und die Generierung langer CoTs demonstrierte, aber auf Herausforderungen wie endlose Wiederholung, schlechte Lesbarkeit und Sprachmischung stieß. Um diese Probleme anzugehen, beschreibt das DeepSeek-Team, wie es Kaltstartdaten vor RL integriert hat, um die Performance für das logische Denken zu steigern.
Das Team implementierte ein FP8-Training mit geringer Präzision und eine Lastausgleichsstrategie ohne Hilfsverlust, was zu modernster Performance mit deutlich reduzierten Rechenressourcenkosten für das Training führte.
Verwendung von DeepSeek-R1 in Cortex AI
Mit Snowflake Cortex AI ist der Zugriff auf Large Language Models (LLMs) einfach. Sie müssen keine Integrationen oder API-Schlüssel verwalten. Governance-Kontrollen können konsequent über Daten und KI hinweg implementiert werden. Sie können auf die Modelle in einer der unterstützten Regionen zugreifen. Sie können auch aus anderen Regionen mit aktivierter regionsübergreifender Inferenz zugreifen. Sie können Cortex Guard aktivieren, um potenziell unangemessene oder unsichere Antworten herauszufiltern. Guardrails stärken die Governance, indem sie Richtlinien durchsetzen, die darauf ausgerichtet sind, schädliche Inhalte herauszufiltern.
SQL und Python
Das Modell kann in eine Daten-Pipeline oder eine Streamlit in Snowflake-App integriert werden, um mehrere Zeilen in einer Tabelle zu verarbeiten. Für diese Integration kann die COMPLETE-Funktion verwendet werden, die sowohl in SQL als auch in Python verfügbar ist. Innerhalb der Cortex AI COMPLETE-Funktion, die für die LLM-Inferenz in Anwendungen verwendet wird, fügen Sie Ihrer Anfrage einfach „guardrails: true“ hinzu, um schädliche Inhalte herauszufiltern. Der Zugriff auf DeepSeek-Modelle ist auch über ein Snowflake Notebook oder Ihre bevorzugte IDE mit OAuth für benutzerdefinierte Clients möglich. Weitere Vorlagen und Details zur Verwendung der SQL-Funktion finden Sie hier und Informationen über die Syntax in Python finden Sie hier.
SELECT SNOWFLAKE.CORTEX.COMPLETE('deepseek-r1',
[{'content': CONCAT('Summarize this customer feedback in bullet points:<feedback>', content ,'</feedback>')}],
{'guardrails': true}
);
Sobald Sie Cortex Guard aktivieren, werden Sprachmodellantworten, die mit schädlichen Inhalten – wie Gewaltverbrechen, Hass, sexuellen Inhalten, Selbstverletzung usw. – verbunden sind, automatisch herausgefiltert und das Modell gibt eine Meldung „Response filtered by Cortex Guard“ zurück. Weitere Informationen zur Sichtweise von Snowflake auf die KI-Sicherheit finden Sie in unserem Whitepaper zu unserem AI Security Framework.
REST-API
Damit Dienste oder Anwendungen, die außerhalb von Snowflake ausgeführt werden, Inferenzen mit niedriger Latenz an Cortex AI durchführen können, ist die REST API-Schnittstelle die ideale Lösung. Hier ein Beispiel dafür, wie das aussieht:
curl -X POST \
"model": "deepseek-r1",
"messages": [{ "content": "Summarize this customer feedback in bullet points: <feedback>”}],
"top_p": 0,
"temperature": 0.6,
}' \
https://<account_identifier>.snowflakecomputing.com/api/v2/cortex/inference:complete
Nächste Schritte
Laut DeepSeek ist dies das erste Open-Source-Modell, das demonstriert, dass die logischen Fähigkeiten von LLMs allein durch RL gefördert werden können, ohne dass SFT erforderlich ist. Cortex AI bietet eine einfache Integration über SQL-Funktionen und REST-APIs, und Cortex Guard ermöglicht Kunden die Implementierung der erforderlichen Sicherheitskontrollen. Das Snowflake AI Research Team plant, DeepSeek-R1 zu verbessern, um die Inferenzkosten weiter zu senken. Kundenunternehmen können mit DeepSeek-R1 Kosten-Performance-Effizienz erreichen und die Bereitstellung von GenAI-Anwendungen beschleunigen. Dieser Durchbruch ebnet den Weg für künftige Fortschritte in diesem Bereich.
Hinweis: Dieser Artikel enthält zukunftsgerichtete Aussagen, unter anderem über künftige Produktangebote. Diese Aussagen stellen keine Garantie dar, dass diese Angebote wirklich bereitgestellt werden. Die tatsächlichen Ergebnisse und Angebote können abweichen und unterliegen bekannten und unbekannten Risiken und Unsicherheiten. Weitere Informationen finden Sie in unserem jüngsten 10-Q-Formular.
Autor:innen
