PowerSchool, leader nell’edtech, utilizza Azure OpenAI per rivoluzionare l’approccio ai contenuti del corso. Scopriamo il percorso verso la produzione.
Far parte del mondo della tecnologia nell’educazione o EdTech significa essere sempre un passo avanti, pronti ad accogliere cambiamenti rapidi e ad adattare nuove tecnologie. Oggi, i clienti di EdTech stanno sempre più rivolgendosi alle piattaforme di AI generative per rivoluzionare il modo in cui gestiscono i contenuti dei corsi. Tra questi, PowerSchool, uno dei principali fornitori di software K-12 basati su cloud, si distingue per l’utilizzo del potere dei modelli Azure OpenAI.
Riconoscendo le potenzialità trasformative dell’AI generativa nell’educazione, PowerSchool si è dedicata attivamente all’esplorazione di modi per sfruttare le capacità dei grandi modelli linguistici (LLMs) per apportare cambiamenti positivi. Questi modelli avanzati di AI, come GPT-4 Turbo, GPT-4 e Vision del servizio Azure OpenAI, si sono dimostrati essenziali per queste iniziative di EdTech. Da quando PowerSchool li ha testati in vari casi d’uso, ha scoperto l’enorme valore che apportano. Dopo la transizione dalla prova del concetto e le fasi pilota alla produzione su larga scala, la sfida per PowerSchool ora è monitorare, scalare e ottimizzare le applicazioni di AI e i costi.
PowerBuddy, l’assistente AI di PowerSchool, è stato progettato per rispondere alle diverse esigenze di studenti, famiglie, docenti e amministratori. L’obiettivo è di fornire intuizioni personalizzate, favorire l’interazione e creare un ambiente di supporto lungo tutto il percorso educativo. In particolare, PowerBuddy eccelle nell’ambito delle valutazioni, aiutando gli educatori a creare valutazioni su misura in linea con i livelli di grado, gli standard e gli argomenti. Integrato in modo trasparente nella piattaforma Performance Matters, genera domande e passaggi in modo efficiente. Inoltre, la funzionalità di chatbot conversazionale di PowerBuddy aiuta gli studenti con gli incarichi di apprendimento. Con la sua adattabilità e il suo supporto per tutte le parti interessate, PowerBuddy arricchisce l’esperienza educativa per tutti i soggetti coinvolti.
Mentre le applicazioni AI di PowerSchool continuano a guadagnare terreno nei distretti scolastici degli Stati Uniti, garantire l’osservabilità è diventato un componente cruciale da integrare nella soluzione, piuttosto che un semplice meccanismo di monitoraggio. Durante le nostre fasi pilota iniziali, abbiamo identificato proprietà chiave di osservabilità essenziali per comprendere lo stato interno dei nostri sistemi di AI, tra cui latenza, chiamate riuscite/tasso di errore, token di inferenza elaborati, token di completamento e richieste di API totali.
Per monitorare e ottimizzare le istanze di Azure OpenAI, PowerSchool sfrutta Azure Monitor, una soluzione completa per la raccolta e l’analisi dei dati di telemetria. I quaderni di Azure vengono creati su Azure Monitor per creare dashboard e report personalizzati, mentre Azure Managed Grafana migliora la visualizzazione con dashboard dinamiche. Azure Log Analytics Workspace centralizza la raccolta e l’analisi dei dati di registro, fornendo approfondimenti più approfonditi per affinare le metriche e migliorare il monitoraggio.
In scenari che coinvolgono diverse istanze di Azure OpenAI distribuite in diverse regioni e modelli, come nel caso di PowerBuddy, si è dimostrata necessaria una capacità di monitoraggio più sofisticata. Questa funzionalità avanzata dovrebbe visualizzare in modo trasparente i dati da diverse istanze e formati di Azure Open AI. Gli Azure Workbooks forniscono dashboard che mostrano il totale delle richieste OpenAI in specifiche regioni, la latenza su diverse istanze, il totale dei token su diverse risorse ecc., configurabili secondo orari personalizzati.
Nel caso in cui le istanze di Azure Open AI siano distribuite in un ambiente multi-cloud, che richiede il monitoraggio delle risorse su diversi fornitori di cloud, una capacità di monitoraggio più completa è essenziale. Un terzo approccio consiste nell’utilizzare Azure Grafana per il monitoraggio e la generazione di rapporti. Grafana supporta fonti di dati da altri fornitori di cloud, consentendo il monitoraggio e l’ottimizzazione delle istanze di Azure Open AI in un ambiente multi-cloud. Questo offre una panoramica completa delle risorse in vari ambienti cloud, come avrebbe bisogno un’azienda come PowerSchool che utilizza una infrastruttura multi cloud.
Infine, sfruttando Azure Log Analytics Workspace per il monitoraggio e l’ottimizzazione delle istanze Azure Open AI, emerge una soluzione centralizzata e scalabile. PowerSchool ha collaborato con il team di Microsoft Global Black Belt per sviluppare soluzioni di monitoraggio complete, come i quaderni di Azure che contengono un pannello di controllo e approfondimenti per ogni metrica delineata nel nostro manifesto di osservabilità su più istanze di OpenAI.