Il team di ingegneri di Meta ha pubblicato oggi un interessante post sul blog sul Transparent Memory Offloading (TMO) come una nuova funzionalità del kernel Linux che hanno sviluppato e che è già utilizzata in produzione sui server Facebook/Meta. All’interno dei data center di Meta, questa funzionalità TMO fa risparmiare il 20~32% di memoria per server su milioni di server.
Meta descrive Transparent Memory Offloading come:
Un nuovo meccanismo del kernel Linux che misura il lavoro perso a causa della carenza di risorse su CPU, memoria e I/O in tempo reale. Guidato da queste informazioni e senza alcuna conoscenza preliminare dell’applicazione, TMO regola automaticamente la quantità di memoria da scaricare su un dispositivo eterogeneo, come la memoria compressa o un SSD. Lo fa in base alle caratteristiche prestazionali del dispositivo e alla sensibilità dell’applicazione agli accessi alla memoria più lenti. TMO identifica in modo olistico le opportunità di scarico non solo dai contenitori delle applicazioni, ma anche dai contenitori collaterali che forniscono funzioni a livello di infrastruttura.
TMO è in produzione da più di un anno e ha risparmiato dal 20% al 32% della memoria totale su milioni di server nel nostro ampio parco di data center. Abbiamo eseguito con successo l’upstream dei componenti del sistema operativo di TMO nel kernel Linux.
Il lavoro lato kernel Linux include già le Pressure Stall Information (PSI) nel kernel e quindi nello spazio utente che hanno”Senpai”come agente dello spazio utente.
L’offload viene spesso eseguito su unità a stato solido NVMe che sono più economiche per GB rispetto alla memoria del server. Anche le future piattaforme server con Compute Express Link (CXL) hanno un grande potenziale per l’utilizzo dell’offload della memoria trasparente.
Chi è interessato a saperne di più sullo sforzo di Facebook/Meta Transparent Memory Offloading (TMO) può vedere il blog di ingegneria Meta per tutti i dettagli tecnici interessanti.
