IA locale: cosa gira davvero sul tuo computer

Eseguire un modello localmente significa effettuare l’inferenza sul proprio hardware. Memoria disponibile, dimensione del modello, quantizzazione e lunghezza del contesto incidono su velocità e consumi.

Locale non significa automaticamente offline: un’applicazione può ancora usare servizi remoti, aggiornamenti o strumenti web. Per capire quali dati restano sul dispositivo bisogna controllare l’intera catena software.

Il primo test utile è un compito rappresentativo: misurare tempi, qualità della risposta e uso della memoria sul proprio computer.