Groq è un'azienda attiva dal 2016 nel settore dell'intelligenza artificiale e dei semiconduttori, che offre un servizio molto simile a ChatGPT ma con modelli open source.
Hanno da poco rilasciato nel loro sito Web un playground in cui è possibile provare due modelli di intelligenza artificiale:
- LLaMa 2 70B;
- Mistral 8x7B.
La differenza principale con le altre aziende è la velocità di risposta da parte del modello. Infatti, LLaMa 2 70B ha una velocità dichiarata di circa 300 token al secondo, mentre Mistral 8x7B di 480. Tipicamente, i competitor sono circa 10 volte più lenti.
Come hanno fatto
Per ottenere questi risultati, utilizzano un'architettura chiamata "Tensor Streaming Processor", che definiscono come un approccio hardware-software, poiché si basa sull'ottimizzazione dell'hardware (hanno un microchip proprietario chiamato GroqChip) in funzione del software da eseguire (LLM).
È possibile vedere le specifiche del loro chip al seguente link.
In poche parole, hanno creato un processore dedicato ai Large Language Model, che loro chiamano LPU (Language Processing Unit).
Tramite questo processore, hanno rimosso due colli di bottiglia:
- La capacità di computazione, che è superiore rispetto ad una CPU o ad una GPU;
- La larghezza di banda della memoria, che è di 80TB/s.
Potenziali impatti sul business
Se un business utilizza già oggi un modello di AI generativa, dovrebbe considerare Groq come un potenziale fornitore (almeno per il futuro).
Le API hanno un costo di 0.70$ (input) e 0.80$ (output) per milione di token nel caso di LLaMa 2, mentre 0.27$ per milione di token per Mistral 8x7B.
I costi sono notevolmente minori rispetto alle API di OpenAI (30/60$ per GPT4 e 0.50/1.50$ per GPT3.5), dunque parliamo di un costo 23 volte superiore per GPT4.
GPT4 è sicuramente più performante dei modelli presenti nel playground di Groq, che se la giocano con GPT3.5.
Potenziali impatti sul futuro
Se fino ad oggi OpenAI sembrava l'unico grande player nel settore dell'AI testuale generativa (nonostante ce ne siano molti altri), Groq potrebbe rappresentare il competitor.
Groq utilizza (ad oggi) modelli open source, il ché è già un grande vantaggio, poiché sono supportati dalla community, ed evitano un vendor lock in con conseguenze disastrose (se OpenAI decidesse di far pagare 1000$ per token da un giorno all'altro, creerebbe problemi per molte aziende). Inoltre, questo approccio potrebbe favorire la creazione ed il perfezionamento di LLM open source in futuro.
Un altro punto è che nel giro di poco tempo anche i competitor potrebbero focalizzarsi sul velocizzare i tempi di risposta, fondamentali per avere una buona user experience.
Conclusione
Per ora, Groq ha comunque delle limitazioni (solamente due modelli), ma mette sul tavolo tante carte (uso di modelli open source, hardware proprietario, brevetti), che potrebbero accendere realmente la competizione verso un'intelligenza artificiale sempre migliore.
