News

Server che bollono (letteralmente): l’efficienza estrema di NVIDIA

🇮🇹 · /root · Lamberto Tedaldi

Dite la verità: quante volte avete guardato il vostro PC mentre cercava di renderizzare un video o compilare un kernel enorme e avete pensato che stesse per decollare? Ebbene, la notizia che arriva dai laboratori NVIDIA è che, per i nuovi server dedicati all’AI, il concetto di ‘surriscaldamento’ sta per essere ridefinito in modo radicale. Il punto non è solo che i nuovi sistemi possono girare con un liquido refrigerante a 45°C — sì, avete letto bene, una temperatura che vi farebbe sentire come se foste in una spa — ma che questa scelta sta portando il consumo d’acqua dei data center verso lo zero. Per chi non mastica hardware di fascia altissima, lasciate che vi spieghi il trick. Solitamente, i data center sono dei mostri sacri di consumo idrico: usano enormi quantità di acqua per raffreddare i sistemi tramite evaporazione. Ma se i tuoi chip sono progettati per operare in un ambiente ‘caldo’, non hai più bisogno di disperdere acqua per abbassare la temperatura. Puoi usare circuiti chiusi che scambiano calore con l’ambiente esterno in modo molto più efficiente. È un salto tecnologico che trasforma un problema ambientale enorme in un’opportunità di engineering geniale. Certo, la solita NVIDIA si prende tutto il merito con questo annuncio che sembra uscito da un comunicato stampa di una multinazionale della Silicon Valley, ma il merito tecnico è innegabile. Se riusciamo a far girare l’intelligenza artificiale senza prosciugare i bacini idrici del pianeta, forse abbiamo una speranza di non trasformare la tecnologia in un parassita ecologico. Ovviamente, restiamo con un piede in quello che chiamano ‘hype’. È tutto molto figo sulla carta, ma sappiamo tutti come funziona l’ecosistema: queste innovazioni arrivano prima di tutto nei cluster giganti di chi ha budget illimitati. In Italia, dove magari ci preoccupiamo più della bolletta elettrica che di un server a 45°C in un data center in Texas, la cosa sembra quasi fantascienza. Per noi che smanettiamo con piccoli server domestici o cluster Raspberry, la vera sfida resta capire se un giorno potremo applicare questo approccio al nostro piccolo caos di cavi e ventole che girano a mille. In breve: meno acqua, più calore, hardware sempre più mostruoso. Se riusciranno a far funzionare tutto questo senza renderci dipendenti da un unico ecosistema proprietario e chiuso, allora potrò iniziare a celebrare seriamente. Source: 45°C cooling design cuts data center water use to near zero

webnewsdata centergreen techhardwareLiquid Cooling

OpenAI si costruisce il proprio silicio: addio NVIDIA o solo un altro modo per chiudere il cerchio?

🇮🇹 · /root · Lamberto Tedaldi

Scommetto che molti di voi stavano già pensando che l’unico modo per far girare un modello decente fosse avere un cluster di H100 grande quanto il garage di un fan di Star Wars. Ebbene, OpenAI ha deciso di smettere di fare la cliente viziata e ha iniziato a progettarsi l’hardware di casa. La notizia è arrivata con la forza di un glitch in un sistema critico: OpenAI ha presentato il suo primo processore custom, battezzato «Jalapeino». Non è un chip generico per farci girare Minecraft o compilare kernel Linux, ma un pezzo di silicio disegnato specificamente per ottimizzare l’inferenza. In pratica, hanno chiesto a Broadcom di aiutarli a costruire un motore che parli la stessa lingua dei loro modelli, saltando il passaggio intermedio di comprare tutto ciò che NVIDIA mette in vendita con la fretta di un bot di trading. Per chi non mastica silicio tutto il giorno, l’inferenza è quella fase in cui l’IA riceve il tuo prompt e sputa fuori la risposta. È il momento in cui il modello «pensa». Fare questo compito su hardware generico è come cercare di far girare Cyberpunk 2077 su un Commodore 64: tecnicamente possibile se hai una pazienza infinita, ma decisamente inefficiente. Con Jalapeño, l’obiettivo è la velocità pura e l’efficienza energetica, riducendo quella latenza che ti fa aspettare che ChatGPT finisca di scrivere la frase mentre tu fissi lo schermo con l’aria di chi sta aspettando che il rendering di un video 4K finisca su un vecchio laptop. Certo, c’è da essere entusiasti. Vedere l’hardware che si evolve insieme al software è la base del progresso tecnologico. Ma non siamo tutti qui a farci incantare dai comunicati stampa colorati. Se da un lato questo significa prestazioni incredibili, dall’altro stiamo assistendo a una verticalizzazione estrema. Stanno costruendo un ecosistema dove tutto, dal codice ai transistor, è progettato per funzionare solo sotto il loro dominio. È un po’ come se i maker più puri dovessero accettare che il futuro dell’IA sia scritto in un linguaggio che solo un manipolo di ingegneri in California può decifrare. In Italia, dove magari ci preoccupiamo più della privacy e di dove finiscono i nostri dati che del numero di transistor in un chip custom, questa notizia potrebbe sembrare distante. Ma la verità è che quando i giganti iniziano a fabbricarsi i propri pezzi, il gioco cambia per tutti. Il confine tra chi usa la tecnologia e chi possiede la tecnologia si sta facendo sempre più marcato. Insomma, Jalapeño promette di bruciare, ma restiamo tutti a vedere se questo calore alimenterà l’innovazione aperta o se servirà solo a rendere ancora più impenetrabile la fortezza di OpenAI. Source: OpenAI unveils its first custom chip, built by Broadcom

webnewsaihardwareopenaiSemiconductors

Claude vs Alibaba: Il nuovo thriller tech che sembra uscito da Mr. Robot

🇮🇹 · /root · Lamberto Tedaldi

Le pareti degli uffici di Anthropic sembrano essersi improvvisamente assottigliate, e non per un problema di ristrutturazione edilizia. Secondo quanto emerso dalle ultime indiscrezioni (e da una certa dose di tensione che si percepisce fin dai comunicati ufficiali), il gigante cinese Alibaba avrebbe messo le mani su qualcosa che non gli apparteneva. Nello specifico, l’accusa è pesante: estrazione illecita delle capacità del modello Claude. Sì, avete letto bene. Non parliamo di un semplice copia-in giro di codice sorgente, ma di un processo molto più subdolo e, tecnicamente parlando, decisamente più affascinante (e inquietante). Per chi non mastica i dettagli tecnici del deep learning, il concetto di ‘estrazione delle capacità’ è quasi più subdolo del classico furto di file. Immaginate di avere una ricetta segreta per una torta perfetta, non la rubate fisicamente, ma studiate così meticolosamente ogni singola interazione e ogni risposta della vostra padrona di casa da riuscire a replicare lo stesso identico sapore nel vostro forno. In pratica, si parla di tecniche di distillation o di un uso massiccio di query strutturate per mappare il comportamento del modello originale e ‘trasferirne’ l’intelligenza su un altro sistema. Un po’ come fare il reverse engineering di un componente hardware analizzandone solo i segnali elettrici in uscita. Naturalmente, dal punto di vista legale e delle relazioni internazionali, siamo nel pieno del classico scontro tra blocchi. E noi qui in Italia, tra un decreto europeo e l’altro, potremmo pensare: «E che me ne importa? Tanto alla fine useremo comunque le API di qualcuno che sta a migliaia di chilometri da noi». Ed è proprio qui che sta la trappola. Anche se le dispute legali si giocano tra Washington e Pechino, l’impatto tecnologico è globale. Se il modo in cui sviluppiamo e proteggiamo l’intelligenza artificiale diventa un campo di battaglia per l’estrazione illegale di pesi e logiche, la trasparenza e la libertà di sperimentazione ne risentiranno. C’è qualcosa di profondamente tossico in questa corsa agli armamenti dove il fine non è più l’innovazione, ma il ‘copiare il genio’ altrui senza pagare il conto. Se questa tendenza continua, ci ritroveremo in un ecosistema dove l’unico modo per proteggere il proprio lavoro sarà creare muri digitali sempre più alti e impenetrabili, rendendo tutto meno aperto, meno fluido e decisamente meno divertente per chi, come noi, ama smontare le cose per capire come funzionano. Restate sintonizzati, perché se questa storia dovesse degenerare in una guerra di brevetti senza fine, il prossimo aggiornamento vi avviserà. Nel frattempo, continuate a compilare e a non fidarvi troppo dei modelli che non potete vedere sotto il cofano. Source: Anthropic says Alibaba illicitly extracted Claude AI model capabilities

webnewsaiAlibabaAnthropiccybersecurity

Operation Endgame: Quando le autorità decidono di fare il reboot del malware

🇮🇹 · /root · Lamberto Tedaldi

C’è qualcosa di profondamente soddisfacente nel vedere un piano orchestrato con precisione chirurgica che manda in crash l’intero business model di chi vive di exploit e truffe. Se pensavate che il cybercrime fosse solo un gruppo di ragazzini con la felpa con cappuccio in un seminterrato buio, riconsiderate. Parliamo di una vera e propria ‘assembly line’, una catena di montaggio industriale dove il codice malevolo viene assemblato, testato e spedito come se fosse un pacco di Amazon Prime. Ma questa volta, il corriere non ha consegnato nulla. Con l’operazione «Endgame», le forze dell’ordine globali hanno deciso di applicare un bel ‘delete’ massivo ai tool più utilizzati dai criminali informatici. Non si è trattato di un piccolo patch di sicurezza o di un ban preventivo su qualche forum di dubbia etica. Parliamo di un attacco coordinato che ha colpito due strumenti pilastro del crimine digitale contemporaneamente. È stato un ‘one-two punch’ che ha mandato in tilt l’infrastruttura stessa della distribuzione di malware. Immaginate di voler costruire un set di LEGO, ma scoprite che qualcuno ha hackerato la fabbrica e ha sostituito tutti i mattoncini con dei pezzi di gomma piuma che non si incastrano con nulla. Ecco, questo è quello che è successo ai bad actors. Certamente, come sempre in queste operazioni internazionali, ci si può chiedere quanto di questo ‘successo’ sia frutto di una vera capacità tecnica e quanto di una semplice fortunata intercettazione di server mal configurati (perché, sappiamo bene, i criminali spesso si dimenticano di chiudere le porte che lasciano aperte). Spesso queste operazioni coinvolgono agenzie che operano fuori dai confini della nostra giurisdizione, e per noi che viviamo in Italia, la notizia arriva un po’ come un film di supereroi americano: epica, grandiosa, ma con quel retrogusto di ‘non so esattamente cosa stia succedendo nel mio backend’. Però, restiamo sul concreto: quando l’infrastruttura che permette la scalabilità del malware viene colpita, il costo del crimine aumenta. E quando il costo aumenta, il profitto diminuisce. È una battaglia di logistica, non solo di codice. Non è ancora la fine del gioco — il nome dell’operazione è un po’ troppo presuntuoso per i miei gusti — ma è sicuramente un glitch importante nel sistema dei malintenzionati. Vedremo se riusciranno a ricostruire la catena di montaggio o se stavolta hanno davvero trovato il tasto ‘shutdown’ definitivo. Nel frattempo, noi continuiamo a patchare, a monitorare e a sperare che il prossimo aggiornamento non sia solo un modo elegante per farci pagare un abbonamento in più. Source: One-two punch delivered in global operation disrupts cybercrime "assembly line"

webnewsCybercrimecybersecuritymalwareOperation Endgame

Anthropic e la Casa Bianca: quando il troppo ‘eccentrico’ rovina il party politico

🇮🇹 · /root · Lamberto Tedaldi

Le dinamiche del potere tecnologico somigliano sempre meno a una sfida di programmazione e sempre più a una sessione di reality show di serie B. Se pensavate che il vero dramma dell’IA fosse solo la gestione dei pesi dei modelli o l’allineamento etico, preparatevi, perché la politica ha appena alzato l’asticella. Secondo le ultime indiscrezioni, i negoziati tra Anthropic e la Casa Bianca sembrerebbero essersi sbloccati solo dopo la rimozione di Dario Amodei. E la motivazione? Non è un bug nel codice, ma un eccesso di personalità. Pare che Amodei fosse considerato «difficile da gestire» e, peggio ancora, un pessimo ascoltatore. In pratica, troppo poco diplomatico per i canoni dei corridoi di Washington. Per noi che preferiamo un terminale pulito e logica binaria, l’idea che il futuro dell’intelligenza artificiale dipenda da quanto un CEO sappia sorridere durante un cocktail party è un po’ amara. Anthropic è una delle aziende che sta dando i risultati più interessanti nel campo della sicurezza e dei modelli avanzati, ma sembra che la loro capacità di influenzare le future regolamentazioni dipenda meno dalla qualità del loro codice e più dalla capacità di non far venire il mal di testa ai funzionari governativi. Certo, restiamo con i piedi per terra. Siamo in Italia e, onestamente, le movenze della Casa Bianca sembrano quasi una trama di una serie distopica su Netflix. Le leggi che vengono discusse a Washington spesso arrivano in Europa con la forza di un aggiornamento obbligatorio di Windows alle tre di notte: non le abbiamo cercate, ma dobbiamo gestirle. Il rischio è che, per facilitare questi rapporti, si finisca per favorire una narrazione dell’IA che sia rassicurante per i politici, ma che stringa troppo le maglie della libertà di sviluppo e di sperimentazione. C’è qualcosa di profondamente irritante nel vedere la tecnologia che viene ‘addomesticata’ non attraverso miglioramenti tecnici, ma tramite la sostituzione di figure chiave che non rientrano nei pattern di comportamento accettabili dal sistema. Se per far andare d’accordo i grandi player con i regolatori serve un leader che sappia dire solo quello che vogliono sentire, la vera domanda non è cosa farà Anthropic, ma quanto spazio rimarrà per l’imprevedibilità che ha sempre alimentato l’innovazione vera. Speriamo solo che il nuovo arrivato sia un ottimo ascoltatore, ma che non dimentichi di ascoltare anche chi, come noi, preferisce la trasparenza ai comunicati stampa patinati. Source: Anthropic’s White House Negotiations Are Reportedly On Track After ‘Weirdo’ Dario Amodei Was Replaced

webnewsAI PoliticsAnthropicDario AmodeiRegulation