Si parla di come sfruttare Phi-3-mini, un modello AI di Microsoft, su iPhone utilizzando la piattaforma ONNX Runtime.
Microsoft, Google e Apple hanno rilasciato nel tempo i propri modelli di Machine Learning adattati per dispositivi edge come il Microsoft Phi3-mini, il Google Gemma e l’Apple OpenELM. Gli sviluppatori ora stanno dando priorità al deploy di queste applicazioni di machine learning, noti come SLM (Strumenti di Apprendimento Machine), su dispositivi come Nvidia Jetson Orin, Raspberry Pi e AI PC, ampliando così significativamente gli scenari applicativi dell’IA generativa.
Tramite la funzionalità ONNX Runtime, è possibile facilmente deployare i modelli di apprendimento sulle più diverse piattaforme hardware, divenendo fondamentale nella portabilità dei modelli AI. Gli sviluppatori possono ora concentrarsi sulle funzionalità dell’app senza preoccuparsi del framework di inferenza, in quanto l’API unificata di ONNX Runtime prende in carico il compito di gestire l’inferenza del modello.
Inoltre, l’ONNX Runtime ha ottimizzato il codice per l’era dell’AI generativa (//onnxruntime.ai/docs/genai/), rendendo la combinazione di questi due strumenti particolarmente potente e versatile. Ora i modelli AI generativi quantizzati possono essere inferiti su diverse piattaforme.
Semplificando il processo di esecuzione del modello su diversi dispositivi, i tecnologi possono concentrarsi sullo sviluppo e il miglioramento delle funzionalità delle loro applicazioni più che sulla configurazione dei dispositivi su cui sono eseguite. Questo articolo si concentrerà sulla configurazione e l’utilizzo preliminare dell’SLM Phi-3-mini sui dispositivi iPhone.
Preparazione e configurazione del tuo dispositivo e ambiente di sviluppo è il primo passo. Saranno necessari i seguenti requisiti tecnici: macOS 14+, Xcode 15+, iOS SDK 17.x, Python 3.10+ (si consiglia l’installazione di Conda), la libreria Python – python-flatbuffers e infine CMake.
Successivamente, sarà necessario compilare l’ONNX Runtime per iOS, una fase fondamentale per la preparazione. Durante il processo di compilazione, si dovrà prestare attenzione alla corretta configurazione di-Xcode e assicurarsi che sia impostato correttamente dal terminale.
Un’altra considerazione importante è che la Runtime ONNX dovrà essere compilata in base alle diverse piattaforme. Per iOS, la compilazione può avvenire sulla base di arm64/x86_64. Si raccomanda inoltre di utilizzare direttamente l’SDK iOS più recente per la compilazione, anche se è possibile ridurre la versione per garantire una compatibilità con gli SDK passati.
Il prossimo passo è la compilazione di Generative AI con ONNX Runtime per iOS. Questo passo implica diversi comandi tra cui il clone del repo GitHub di Microsoft per l’ONNX Runtime e alcuni comandi per il setup dell’ambiente, tra cui la creazione di directory e il trasferimento dei file necessari.
Infine, la creazione di un’applicazione App in Xcode è l’ultimo passo. L’API del generatore AI ONNX Runtime, che utilizza il linguaggio C++, è una scelta eccellente per lo sviluppo di applicazioni compatibili con il modello Phi-3-mini di Microsoft. Una volta completato, è possibile importare il modello quantizzato INT4 in ONNX e sfruttarlo per creare applicazioni potenti ed efficienti.
La combinazione di Microsoft Phi-3-mini con ONNX Runtime può aprire a scenari applicativi mai considerati prima, da soluzioni altamente specializzate a applicazioni di massa, tutte basate sulla potenza e la flessibilità di Phi-3-mini e ONNX Runtime.