L’elaborazione dell’IA richiede un’innovazione completa su piattaforme hardware e software per soddisfare le crescenti esigenze computazionali delle reti neurali. Un’area chiave per aumentare l’efficienza è l’utilizzo di formati numerici di precisione inferiore per migliorare l’efficienza computazionale, ridurre l’utilizzo della memoria e ottimizzare la larghezza di banda di interconnessione.
Per ottenere questi vantaggi, il settore è passato dalle precisioni a 32 bit ai formati di precisione a 16 bit e ora anche a 8 bit. Le reti di trasformatori, che sono una delle innovazioni più importanti dell’IA, beneficiano in particolare di una precisione in virgola mobile a 8 bit. Riteniamo che avere un formato di interscambio comune consentirà rapidi progressi e l’interoperabilità delle piattaforme hardware e software per far avanzare l’informatica.
NVIDIA, Arm e Intel hanno creato insieme formato di interscambio per l’IA un whitepaper, FP8 Formats for Deep Learning , che descrive una specifica a virgola mobile (FP8) a 8 bit.
Fornisce un formato comune che accelera lo sviluppo dell’IA ottimizzando l’utilizzo della memoria e funziona sia per l’allenamento dell’IA che per l’inferenza. Questa specifica FP8 ha due varianti, E5M2 e E4M3.
Questo formato è implementato in modo nativo nell’architettura NVIDIA Hopper e ha mostrato ottimi risultati nei test iniziali. Beneficerà immediatamente del lavoro svolto dall’ecosistema più ampio, inclusi i framework di intelligenza artificiale, nell’implementazione per gli sviluppatori.
Compatibilità e flessibilità del formato di interscambio per l’IA di Nvidia, Arm e Intel
FP8 riduce al minimo le deviazioni dai formati in virgola mobile IEEE 754 esistenti con un buon equilibrio tra hardware e software per sfruttare le implementazioni esistenti, accelerare l’adozione e migliorare la produttività degli sviluppatori.
E5M2 utilizza cinque bit per l’esponente e due bit per la mantissa ed è un formato IEEE FP16 troncato. In circostanze in cui è richiesta una maggiore precisione a scapito di un intervallo numerico, il formato E4M3 apporta alcune modifiche per estendere l’intervallo rappresentabile con un esponente a quattro bit e una mantissa a tre bit.
Il nuovo formato consente di risparmiare cicli di calcolo aggiuntivi poiché utilizza solo otto bit. Può essere utilizzato sia per l’allenamento AI che per l’inferenza senza richiedere alcun rifusione tra le precisioni. Inoltre, riducendo al minimo le deviazioni dai formati in virgola mobile esistenti, consente la massima libertà per l’innovazione futura dell’IA pur aderendo alle convenzioni attuali.
Formazione e inferenza ad alta precisione
Il test del formato FP8 proposto mostra un’accuratezza paragonabile alla precisione a 16 bit in un’ampia gamma di casi d’uso, architetture e reti. I risultati su trasformatori, visione artificiale e reti GAN mostrano tutti che l’accuratezza dell’addestramento FP8 è simile alla precisione a 16 bit, offrendo al contempo notevoli incrementi di velocità. Per ulteriori informazioni sugli studi di accuratezza, vedere ilWhite paper sui formati FP8 per l’apprendimento profondo .
Verso la standardizzazione
NVIDIA, Arm e Intel hanno pubblicato questa specifica in un formato aperto e senza licenza per incoraggiare un’ampia adozione da parte del settore. Presenteranno anche questa proposta a IEEE.
Adottando un formato intercambiabile che mantiene la precisione, i modelli di intelligenza artificiale funzioneranno in modo coerente e performante su tutte le piattaforme hardware e contribuiranno a far progredire lo stato dell’arte dell’intelligenza artificiale.
Gli organismi di normalizzazione e l’industria nel suo insieme sono incoraggiati a costruire piattaforme in grado di adottare in modo efficiente il nuovo standard. Ciò contribuirà ad accelerare lo sviluppo e l’implementazione dell’IA fornendo una precisione universale e intercambiabile.
Netflix News Serie TV Film Amine
Apple Android Tecnologia Prime Video Offerte Disney+
Seguici su Facebook Twitter Pinterest
Seguici su Telegram: Netflix, Offerte Amazon Prime, Prime Video
