Portare l’AI generativa e i LLM dove si trovano i dati

L’AI generativa e i Large Language Model (LLM) hanno un potenziale enorme per le aziende.   

Abbiamo parlato di questa opportunità in precedenza, e al Summit 2023 abbiamo annunciato varie funzionalità che, insieme, consentono ai nostri clienti di portare l’AI generativa e i LLM direttamente dove si trovano i loro dati proprietari, il tutto attraverso una piattaforma unica e sicura. 

La piattaforma Snowflake ha già aiutato i clienti ad abbattere i silos di dati e a portare più tipi di sviluppo direttamente dove si trovano i dati. Le novità includono la possibilità di eseguire e ottimizzare i principali LLM in Snowflake utilizzando Snowpark Container Services, sfruttare in modo più intelligente i dati con i LLM integrati e aumentare la produttività con interazioni basate sui LLM. Continua a leggere per scoprire di più su questi annunci.

In occasione del Summit, abbiamo annunciato Snowpark Container Services (in private preview), che consente agli sviluppatori di registrare e distribuire facilmente data app containerizzate utilizzando l’infrastruttura sicura gestita da Snowflake con opzioni hardware configurabili, ad esempio l’elaborazione accelerata con le GPU NVIDIA. Questa ulteriore flessibilità espande enormemente il campo di applicazione dei workload di AI/ML e app che è possibile portare direttamente ai dati Snowflake.

Per consentire ai clienti di sfruttare i principali LLM in modo ancora più facile e sicuro, Snowpark Container Services può essere utilizzato all’interno di un’app nativa Snowflake. In questo modo i clienti potranno accedere direttamente ai LLM tramite il Marketplace Snowflake ed eseguirli interamente all’interno dei propri account Snowflake. I primi LLM per uso commerciale includono quelli sviluppati da AI21 Labs, Reka e NVIDIA (framework NeMo, parte della piattaforma software NVIDIA AI Enterprise). 

Per questi provider, i pesi dei LLM o altre proprietà intellettuali non vengono esposti all’utente dell’app, poiché la logica e i dati contenuti nell’app nativa Snowflake non sono accessibili all’utente finale nemmeno quando l’app è distribuita ed eseguita in Snowpark Container Services nell’account Snowflake dell’utente finale. A loro volta, poiché i LLM vengono eseguiti all’interno dell’account dell’utente finale, i dati aziendali governati utilizzati per il fine-tuning o altre interazioni con i LLM non vengono mai esposti al provider: una soluzione vantaggiosa per entrambi. Guarda questa demo per vedere come funziona.  

La visione di Streamlit è sempre stata quella di fornire un modo semplice e pratico per creare applicazioni interattive con Python utilizzando dati e modelli AI/ML. Con i LLM non fa differenza. Streamlit si è affermato rapidamente come lo strumento di fatto per creare le UI per le app basate su LLM. Nel Community Cloud sono infatti già disponibili oltre 7.000 app Streamlit basate su LLM e il loro numero aumenta di giorno in giorno. Solo su GitHub esistono oltre 190.000 frammenti di codice Streamlit (numero in continuo aumento), e tutti supportano l’interazione con GPT4 e altri LLM. Ciò significa che analisti, data scientist e persino studenti possono eseguire analisi veloci, realizzare prototipi di nuove app e utilizzare codice Streamlit generato automaticamente in altre app.

Con l’integrazione di Streamlit in Snowflake (presto in public preview), i clienti Snowflake possono utilizzare Streamlit per sviluppare e distribuire potenti UI per app e interazioni basate su LLM interamente in Snowflake. In questo modo, i team possono condividere senza sforzo le app utilizzando la governance di Snowflake esistente e distribuire rapidamente tali app senza alcun carico operativo, poiché tutto avviene sulla piattaforma Snowflake. 

In aggiunta, Snowflake sta integrando i LLM direttamente nella piattaforma per aumentare la produttività dei clienti e sbloccare nuovi insight dai dati. Un’area particolarmente complessa per i clienti riguarda la comprensione e l’estrazione di valore dai dati non strutturati, come i documenti. Con Document AI (in private preview), Snowflake offre ai clienti un LLM di punta per aiutarli a estrarre le informazioni dai documenti in modo facile e veloce. Osservalo in azione qui.

Document AI si avvale di un LLM multimodale appositamente concepito e integrato in modo nativo nella piattaforma Snowflake. I clienti possono estrarre in modo semplice e sicuro contenuti come importi delle fatture o condizioni contrattuali dai documenti e ottimizzare i risultati utilizzando un’interfaccia visiva e il linguaggio naturale. Data l’integrazione completa nella piattaforma Snowflake, i data engineer e gli sviluppatori possono anche eseguire l’inferenza in modo programmatico chiamando i modelli integrati o ottimizzati, come nelle pipeline con Streams e Tasks o nelle applicazioni. 

Come abbiamo osservato in tutto il settore, i LLM sono anche un modo potente per aumentare la produttività degli utenti, riducendo la necessità di scrivere il codice manualmente o migliorando la rilevabilità delle informazioni. Al Summit, abbiamo presentato i diversi miglioramenti che stiamo sviluppando per offrire ai clienti di Snowflake la possibilità di sfruttare la potenza dei LLM, tra cui esperienze di ricerca conversazionale per scoprire dati e app sulla base di domande aziendali nel Marketplace Snowflake, nonché capacità conversazionali da testo a codice per consentire anche a chi non usa SQL di interrogare i dati per ottenere nuovi insight in Snowsight. Continueremo a introdurre miglioramenti in quest’area per rendere ancora più semplice per tutti, anche per chi non sa nulla di programmazione, scoprire e ottenere valore dai dati.

L’AI generativa sta determinando un mutamento radicale nel mondo del software e nelle aziende, ma questo è solo l’inizio. Visita il sito per sviluppatori e scopri di più su come puoi utilizzare Snowflake per portare la potenza dei LLM nella tua azienda. 

Scopri di più: Snowflake sta creando una piattaforma incentrata sui dati per l’AI generativa e i LLM. Leggi questo blog.