La generazione di codice con l’intelligenza artificiale sta diventando sempre più potente e compatta. Stability AI, l’azienda nota per la sua tecnologia generativa AI testo-immagine denominata Stable Diffusion, ha appena annunciato il suo primo nuovo modello AI del 2024: Stable Code 3B, disponibile tramite abbonamento. Come suggerisce il nome, Stable Code 3B è un modello con 3 miliardi di parametri focalizzato sulla completamento del codice per lo sviluppo software.
Nonostante i suoi 3 miliardi di parametri, Stable Code 3B può essere eseguito localmente sui computer portatili senza GPU dedicate, offrendo comunque prestazioni e capacità competitive rispetto a modelli più grandi come il CodeLLaMA 7B di Meta. Questo spinge verso modelli più piccoli, compatti e capaci è un obiettivo che Stability AI ha iniziato a perseguire alla fine del 2023 con modelli come il StableLM Zephyr 3B per la generazione di testo.
Miglioramenti apportati a Stable Code 3B
Stability AI ha apportato diversi miglioramenti a Stable Code dal suo rilascio iniziale. Oltre a suggerire nuove righe di codice, il modello è in grado di completare sezioni mancanti in codice esistente. Questa funzionalità avanzata di completamento del codice, nota come “Fill in the Middle” (FIM), consente di riempire le lacune nel codice in modo efficiente.
Per l’addestramento del modello, è stata ottimizzata la dimensione del contesto utilizzando una tecnica chiamata “Rotary Position Embeddings” (RoPE), che consente opzionalmente una lunghezza del contesto fino a 100.000 token. La tecnica RoPE viene utilizzata anche da altri modelli di linguaggio, come il Llama 2 Long di Meta.
Stable Code 3B si basa sul modello di linguaggio naturale Stable LM 3B di Stability AI. Grazie all’ulteriore addestramento focalizzato sui dati di ingegneria del software, il modello ha acquisito competenze di completamento del codice pur mantenendo le sue forze nei compiti di linguaggio generale. I dati di addestramento includono repository di codice, forum di programmatori e altre fonti tecniche. Inoltre, il modello è stato addestrato su 18 diversi linguaggi di programmazione e Stability AI afferma che Stable Code 3B dimostra prestazioni di primo piano nei test di riferimento su più linguaggi.
Competizione nel mercato degli strumenti di generazione di codice con IA
Il mercato degli strumenti di generazione di codice con intelligenza artificiale è competitivo, con diverse opzioni tra cui il CodeLLaMA 7B di Meta, uno dei più grandi e popolari. Sul fronte dei modelli con 3 miliardi di parametri, c’è anche il StarCoder LLM, che è sviluppato congiuntamente come un progetto open source con la partecipazione di IBM, HuggingFace e ServiceNow. Tuttavia, Stability AI sostiene che Stable Code 3B supera StarCoder in termini di qualità di completamento per i linguaggi di programmazione Python, C++, JavaScript, Java, PHP e Rust.
Stable Code 3B come parte dell’offerta di abbonamento di Stability AI
Stable Code 3B è disponibile per l’uso commerciale come parte del nuovo servizio di abbonamento di Stability AI, annunciato per la prima volta a dicembre. I membri hanno accesso a Stable Code 3B insieme ad altre tecnologie di intelligenza artificiale nell’offerta di prodotti di Stability AI, tra cui gli strumenti di generazione di immagini Stable Diffusion, StableLM Zephyr 3B per la generazione di contenuti di testo, Stable Audio per la generazione di audio e Stable Video per la generazione di video.