DeepSeek-R1 en preview sur Snowflake Cortex AI
Snowflake intègre DeepSeek-R1 à Snowflake Cortex AI ! Comme décrit par DeepSeek, ce modèle, entraîné via un apprentissage par renforcement (RL) à grande échelle sans réglage fin supervisé (SFT), peut atteindre des performances comparables à OpenAI-o1 pour les tâches mathématiques, de code et de raisonnement. D’après le benchmarking publié par DeepSeek, DeepSeek-R1 domine le classement des modèles open source et rivalise avec les modèles open source les plus avancés à l’échelle mondiale. Nos clients peuvent désormais demander une preview anticipée de DeepSeek-R1 sur Cortex AI.
Lors de la private preview, nous nous attacherons à fournir un accès conforme aux principes de facilité, d’efficacité et de confiance de nos produits.
Le modèle est disponible en private preview pour l’inférence serverless à la fois par batch (fonction SQL) et interactive (Python et API REST). Pour demander l’accès lors de la preview, veuillez contacter votre équipe commerciale. Le modèle sera disponible uniquement dans le compte demandé.
Le modèle est hébergé aux États-Unis dans la zone de service Snowflake. Nous ne partageons pas de données avec le fournisseur du modèle.
Une fois le modèle disponible pour tous nos clients, ceux-ci peuvent gérer son accès via un contrôle d’accès basé sur les rôles (RBAC). Les administrateurs de comptes peuvent restreindre l’accès en sélectionnant les modèles approuvés par les politiques de gouvernance.
Snowflake Cortex AI
Snowflake Cortex AI est une suite de fonctionnalités et de services intégrés qui incluent l’inférence de LLM entièrement gérée, le fine-tuning et la RAG pour les données structurées et non structurées, afin de permettre à ses clients d’analyser rapidement leurs données non structurées parallèlement à leurs données structurées et d’accélérer la création d’applications d’IA. Nos clients peuvent accéder à des LLM à la pointe du secteur, à la fois open source et propriétaires, et les intégrer facilement à leurs flux de travail et applications. Snowflake a adopté l’écosystème open source avec la prise en charge de plusieurs LLM de Meta, Mistral et Snowflake. Nous sommes convaincus que ce libre accès et cette collaboration ouvriront la voie à une innovation accélérée dans ce domaine.
DeepSeek-R1
D’après la publication de DeepSeek sur GitHub, l’entreprise a directement appliqué l’apprentissage par renforcement (RL) au modèle de base, sans passer par le réglage fine supervisé (SFT) comme étape préliminaire. Cette approche a permis au modèle d’explorer la chaîne de pensée (CoT) pour résoudre des problèmes complexes, ce qui a conduit au développement de DeepSeek-R1-Zero. L’entreprise précise en outre que le modèle initial présentait des capacités telles que l’auto-vérification, la réflexion et la génération de longues CoT, mais qu’il faisait face à des défis tels que la répétition sans fin, la mauvaise lisibilité et le mélange linguistique. Pour résoudre ces problèmes, l’équipe DeepSeek décrit comment elle a incorporé les données de démarrage à froid avant le RL pour améliorer les performances de raisonnement.
L’équipe a mis en œuvre un entraînement FP8 de faible précision et une stratégie d’équilibrage de charge sans perte auxiliaire, ce qui a conduit à des performances de pointe avec des coûts de calcul d’entraînement considérablement réduits.
Utiliser DeepSeek-R1 dans Cortex AI
Avec Snowflake Cortex AI, l’accès aux grands modèles de langage (LLM) est facile. Vous n’avez pas à gérer les intégrations ou les clés API. Les contrôles de gouvernance peuvent être mis en œuvre de manière cohérente pour l’ensemble des données et de l’IA. Vous pouvez accéder aux modèles dans l'une des régions prises en charge. Vous pouvez également accéder à d’autres régions avec l’inférence interrégionale activée. Vous pouvez activer Cortex Guard pour filtrer les réponses potentiellement inappropriées ou dangereuses. Des garde-fous renforcent la gouvernance en appliquant des politiques alignées pour filtrer les contenus dangereux.
SQL et Python
Le modèle peut être intégré dans un pipeline de données ou une application Streamlit in Snowflake pour traiter plusieurs lignes d’une table. La fonction COMPLETE, accessible en SQL et Python, peut être utilisée pour cette intégration. Dans la fonction COMPLÈTE de Cortex AI, utilisée pour les applications d’inférence de LLM, il suffit d’ajouter des garde-fous ‘guardrails: true’ pour filtrer le contenu dangereux. Vous pouvez également accéder aux modèles DeepSeek à partir d’un Snowflake Notebook ou de l’IDE de votre choix en utilisant OAuth pour les clients personnalisés. Accédez à des modèles supplémentaires et à des détails sur l’utilisation de la fonction SQL ici ou apprenez-en davantage sur la syntaxe dans Python ici.
SELECT SNOWFLAKE.CORTEX.COMPLETE('deepseek-r1',
[{'content': CONCAT('Summarize this customer feedback in bullet points:<feedback>', content ,'</feedback>')}],
{'guardrails': true}
);
Lorsque vous activez Cortex Guard, les réponses du modèle de langage associées à du contenu préjudiciable (crimes violents, haine, contenu à caractère sexuel, automutilation, etc.) sont automatiquement filtrées et le modèle renvoie un message « Response filtered by Cortex Guard » (Réponse filtrée par Cortex Guard). Pour plus d’informations sur le point de vue de Snowflake sur la sécurité de l’IA, consultez notre livre blanc sur notre AI Security Framework.
API REST
Pour permettre à des services ou des applications s’exécutant en dehors de Snowflake de faire des appels d’inférence à faible latence vers Cortex AI, l’interface API REST est la solution idéale. Voici un exemple de ce à quoi cela ressemble :
curl -X POST \
"model": "deepseek-r1",
"messages": [{ "content": "Summarize this customer feedback in bullet points: <feedback>”}],
"top_p": 0,
"temperature": 0.6,
}' \
https://<account_identifier>.snowflakecomputing.com/api/v2/cortex/inference:complete
Et maintenant ?
Selon DeepSeek, il s’agit du premier modèle open source à démontrer que les capacités de raisonnement des LLM peuvent être incitées uniquement par le biais de RL, sans avoir besoin de SFT. Cortex AI offre une intégration facile via des fonctions SQL et des API REST, et Cortex Guard permet à nos clients de mettre en place les contrôles de sécurité requis. L’équipe de recherche en IA de Snowflake prévoit d’améliorer DeepSeek-R1 afin de réduire davantage les coûts d’inférence. Nos clients peuvent gagner en rentabilité avec DeepSeek-R1 et accélérer la mise en œuvre d’applications d’IA générative. Cette avancée ouvre la voie à de futures avancées dans ce domaine.
À noter : cet article contient des déclarations prévisionnelles, notamment de futures offres de produits. Il ne constitue en aucun cas un engagement à fournir des offres de produits. Les offres et résultats réels peuvent varier et faire l’objet de risques connus et inconnus, ainsi que d’incertitudes. Découvrez notre dernier 10‑Q pour en savoir plus.
Auteurs
