sabato 16 febbraio 2008

Vista SP1 vs. XP SP2 - Benchmarked

Il signor Adrian Kingsley-Hughes e' l'ennesimo produttore di FUD su Vista.
Effettua delle prove comparative di operazioni su file tra Vista SP1 e XP SP2 dimenticandosi di sottolineare che il primo ha Windows Defender attivo e il secondo no.
Che senso ha un confronto simile?
Nessuno.

Se volesse fare un confronto sensato installerebbe Windows Defender anche su XP oppure lo disabiliterebbe su Vista.

I confronti si fanno tra sistemi comparabili, come si fa a concludere che Vista e' piu' lento nelle operazioni sui file se la lentezza e' dovuta a un applicativo che si puo' benissimo installare anche su XP?
Ne avevo gia' parlato, ma e' sempre meglio far presente questi aspetti.

[AGGIORNAMENTO: visto che c'e' chi non ci crede, ho rifatto il test che avevo gia' fatto in passato, questa volta prendendo una gerarchia di 173 cartelle contenenti complessivamente 803 files (tra cui anche molti eseguibili) per complessivi 195 MB.
Il file compresso ZIP e' risultato di 140 MB.


Ho provato a decomprimerlo su XP SP2 e Vista RTM avendo cura di disabilitare Windows Defender. Su entrambi i sistemi il tempo di decompressione e' di circa 36 secondi.
Ho ripetuto le prove varie volte facendo ogni volta reboot onde evitare che entrasse in gioco la cache.

Poi ho provato a fare la copia della cartella: su XP ci ha messo nel caso migliore 40 secondi, mentre su Vista 29 secondi.
Anche in questo caso ho rifatto la prova varie volte riavviando ogni volta, infatti se si ripete la copia senza riavviare si scende a valori di 16 secondi per XP e 14 secondi per Vista.

Quindi questi primi test mostrano che Vista RTM non e' piu' lento di XP, mentre i test di ZDNet dicono che Vista sarebbe 4 volte piu' lento di XP nella decompressione dei file ZIP e il 24% piu' lento nella copia disco a disco di piu' files.

Poi ho provato a fare gli stessi test attivando su Vista Windows Defender.
La decompressione del file ZIP e' passata da 36 a 58 secondi e ripetute prove (alternate da reboot) hanno sempre impiegato oltre i 58 secondi.
Ho quindi disabilitato Windows Defender, riavviato la macchina e rieffettuato il test di decompressione ottenendo nuovamente (e come immaginabile) 36 secondi.
Per me quindi e' fuori di dubbio che Windows Defender ha un impatto notevole su questo tipo di test, e la differenza cosi' corposa esclude nel modo piu' assoluto che ci possano essere "errori" di misura o altri fattori.

Ho poi effettuato anche il test della copia della cartella sullo stesso disco con Windows Defender attivo: vengono impiegati nel caso migliore 36 secondi contro i 29 secondi ottenuti con Windows Defender spento.

In questo caso la differenza non e' esorbitante ma comunque nell'ordine del 20%.

E' verosimile che le differenze di prestrazioni possano variare al variare della tipologia dei file presenti, ma la sostanza di fondo non cambia: per effettuare questi test comparativi tra Vista e XP, Windows Defender va disabilitato.

Se qualcuno non crede a questi numeri provi e mi sappia dire ;-)]

27 commenti:

  1. Windows Defender non ha alcun impatto sulle prestazioni (0% di CPU in idle), nè tantomeno interviene sulla copia di file che è un'operazione che avviene a basso livello. Windows Defender scansiona solo gli eseguibili che l'utente esegue dalla shell di Windows, non i file che vengono copiati dal sistema operativo.

    RispondiElimina
  2. Nicola, non e' che ci sia tanto da disquisire, basta fare la prova pratica che evidentemente tu non hai fatto.

    Prendi i test che hanno fatto sulla compressione/decompressione di cartelle .zip: fallo sia su Vista che su XP con e senza Windows Defender e toccherai con mano quanto Windows Defender "impatta" sui tempi di eseguzione.

    RispondiElimina
  3. tempi di esecuzione???? Qui si sta parlando di tempi di copia, che non hanno nulla a che fare con Windows Defender!

    RispondiElimina
  4. Ciao Enrico,
    secondo me non è vero che il sistema operativo non influisce sulle prestazioni. Una volta usavo Gentoo tutto compilato per il mio PC e vedessi che scheggia! :D
    Così come in Vista il lancio di Photshop mi richiede pochissimo perché ci pensa il superfetch, mentre altri programmi che uso raramente richiedono molto più tempo che in XP o Ubuntu. Questo per dire solo una cosa: quando si fa un confronto del genere ci sarebbe da tenere conto di un numero di fattori talmente alto che rendono tali test solo una mero tentativo.

    RispondiElimina
  5. Nicola, ma hai almeno letto in cosa consistono i test fatti da ZDNet o stai parlando per sentito dire?

    I test dove Vista e' risultato piu' lento di XP sono appunto quelli sui file .zip.

    RispondiElimina
  6. Dividebyzero, certo che l'OS ha un impatto, ma bisogna appunto come dici tu considerare tutte le condizioni a contorno, e i test di ZDNet sono fatti in modo un po' grossolano.

    Ad esempio non riportano nessun dato sul numero di ripetizioni del test e di eventuali scostamenti dei tempi rilevati.
    Non ho ancora installato la SP1 di Vista, ma ad esempio la copia da/su disco esterno non e' sempre uguale, a volte ottengo transfer rate buoni, altre volte no.
    Cosa influenzi queste variazioni non lo so, ma dubito che quelli di ZDNet si siano posti il problema di fare prove ripetute per convalidare i valori misurati.

    RispondiElimina
  7. sono più lenti perchè è più lenta la copia dei file, non perchè è più lenta la decompressione.

    RispondiElimina
  8. @Enrico
    E' scritto chiaramente nell'articolo: "Each test was run four times, the poorest result was discarded and the average of the remaining three taken."

    traduzione:
    ogni test è stato eseguito 4 volte, il risultato peggiore è stato scartato ed è stata calcolata la media dei rimanenti 3

    RispondiElimina
  9. Nicola... fammi il piacere, fai la prova che ti ho detto e finiscila di fare affermazioni campate in aria.

    Poi dovresti spiegarmi perche' la copia e' piu' lenta, forse in MS si sono bevuti il cervello e hanno riscritto il codice per peggiorare le prestazioni?

    Eseguire un test 4 volte, scartare il risulato peggiore e fare la media aritmetica dei migliori 3 significa non avere la minima cognizione di come si effettui una statistica.

    RispondiElimina
  10. >Poi dovresti spiegarmi perche' la
    > copia e' piu' lenta, forse in MS
    > si sono bevuti il cervello

    @Enrico giordani
    vatti a leggere l'articolo tecnico di Mark Russinovich che spiega i problemi prestazionali della copia dei file, e smettila di scrivere cazzate sul tuo blog se non sai come funziona un sistema operativo:
    http://blogs.technet.com/markrussinovich/archive/2008/02/04/2826167.aspx

    RispondiElimina
  11. Nicola, le prestazioni della decompressione di un file zip sono sostanzialmente determinate dalla potenza di calcolo della CPU e solo marginalmente dall'algoritmo di scrittura su disco.
    Ho preso su Vista una cartella con 173 sotto cartelle e 803 file, l'ho copiata sullo stesso disco in circa 15 secondi.
    Poi l'ho compressa e decompressa.
    La decompressione ha impiegato 37 secondi.

    Ora secondo te nella decompressione qual e' il fattore determinante? L'accesso a disco o il tempo di elaborazione?

    La risposta mi pare evidente.

    Nel test fatto da ZDNet la decompressione su Vista ha richiesto 148 secondi contro i 36 secondi impiegati da XP. Che quei 112 secondi in piu' siano dovuti al diverso modo di scrivere i file su disco e' una puttanata fotonica.
    E' evidente (e perfettamente dimostrabile) che la colpa e' di Windows Defender (o di qualche altro processo che interferisce) e non certo dell'algoritmo di accesso a disco, come ho detto e ridetto fai la prova invece di continuare a starnazzare.

    RispondiElimina
  12. Senti ciccio, ma chi ti credi di essere? Pensi di avere più competenze tecniche di Mark Russinovich.

    Ho fatto la prova e Windows Defender non incide minimamente sulla copia dei file, come è ovvio dato che Windows Defender non scansiona i file durante le banali operazioni di copia (oltretutto effettuate dal sistema operativo a un più basso livello).

    RispondiElimina
  13. Fanciullo, prima di lasciare commenti sui blog prova a leggere e capire quello che c'e' scritto.

    RispondiElimina
  14. @fanciullo, a me pare che quello che millanta conoscenze che evidentemente non ha sei tu.
    Russinovich infatti scrive

    >most copy operations are publishing scenarios even on client systems, because the appearance of new files causes desktop search indexing, triggers antivirus and antispyware scans, and queues Explorer to generate thumbnails for display on the parent directory’s folder icon.

    A me sembra una frase chiara e interpretabile in un unico modo, ovvero che un antispyware come Windows Defender in presenza di operazioni di copia di file (senza utilizzo di cache) può essere fonte di rallentamento.

    RispondiElimina
  15. E infatti la dimostrazione inconfutabile che Windows Defender interviene pesantemente durante l'operazione di espansione di un file ZIP e' data dal Task Manager, basta andare sulla schermata dei processi, selezionare le colonne I/O Reads, I/O Read Bytes e vedere come i numeri aumentano per il processo svchost che ospita WD mentre il file ZIP viene espanso.
    Che questo poi vari a seconda del tipo di file va bene, ma affermare che WD non intervenga e' del tutto inammissibile.

    RispondiElimina
  16. anche io ho fatto il test, con o senza Windows Defender la copia dei file è sempre lenta.

    RispondiElimina
  17. @tux:
    Hai installato il SP1? Perché Enrico, Alex e Mark stanno parlando di SP1 che ha sistemato un po' di bachi riguardo la copia dei file

    RispondiElimina
  18. Articolo ridicolo, in quanto Windows Defender non entra in azione durante la copia dei file. Leggersi prima la guida del Windows Defender, prima di dire cretinate, sarebbe meglio.

    RispondiElimina
  19. E' una battaglia persa in partenza ragazzi.
    Se la gente vuole dire che Windows Vista è più lento di Windows XP lo farà anche con dei dati inconfutabili alla mano... io ho quasi rinunciato a portare avanti questi discorsi.

    RispondiElimina
  20. Sirus, mi sa che hai dannatamente ragione ;-)

    RispondiElimina
  21. E' proprio così.
    I pareri che leggo spesso anche da provenienze "alte" diciamo, sono frutto di pure convinzioni, il più delle volte errate perchè basate su atteggiamenti che modificano l'esperienza dei fatti.
    In poche parole queste persone, più o meno inconsciamente, si vanno a trovare tutti i dati a suffragio delle proprie convinzioni (fideistiche direi a sti punti) tralasciando di mettere i dati che hanno in corelazione tra loro.
    In ogni caso vale il concetto di fondo che paragonare Vista a Xp è come pargonare XP a Win98 SE.
    E' OVVIO che win98 è una scheggia: fa molte meno cose di xp ed ha un system file diverso.
    Stesso discorso per XP.
    Allora paragoniamo cose omogenee:
    su XP, mettiamo anche la sidebar del vista transformation pack, windows defender e windows desktop search che trita mentre noi lavoriamo in background e vediamo se XP sarà più veloce di Vista.

    La morale della favola è che ora che sono passato a Vista e ci lavoro tutti i giorni, non passerei più a xp nemmeno sotto compenso. E' un sistema operativo di 2a generazione che morirà a cominciare da giungno 2088, che piaccia ai suoi fan o no.
    Hasta la Vista.
    ^__*

    RispondiElimina
  22. Errata corrige:
    2088=2008, op course

    RispondiElimina
  23. @Enrico Giordani

    Solo una precisazione. Se si disabilita una funzione implementata in Vista per la sicurezza, come puo' essere Defender, Vista perde una parte della sicurezza attiva di cui tanto si vanta Microsoft. Dico, una parte, non tutta. L'utonto normale non sa nemmeno come disabilitare il Defender, e trova l'OS appena preso in bundle col pc nuovo piu' lento di Xp che usava sul vecchio PC. Da qui le critiche in giro per la rete. Questo secondo il mio pensiero...

    RispondiElimina
  24. Franco,
    e' vero che l'utente medio di sicuro non andra' a disabilitare Windows Defender, ma e' anche vero che quello stesso utente su XP molto probabilmente, anzi togliamo il probabilmente, certamente aveva un antivirus o una suite di protezione come Norton Internet Security, che ha un impatto sulle prestazioni di XP non certo inferiore a quello che ha Windows Defender sulle prestazioni di Vista.
    Quello che secondo me e' assurdo e' confrontare Vista con XP senza tener conto della realta' dei fatti, ovvero quasi nessuno tiene XP "pulito" senza alcun antivirus, quindi qual e' il senso del confronto tra Vista e un sistema che non rispecchia la reale configrazione di utilizzo di XP?

    RispondiElimina
  25. @Enrico

    Ma hai fatto un confronto alla pari giusto? Monta un antivirus su tutti e 2 (uguale, magari AVG free o quello che vuoi tu) e rifai la prova. Il risultato magari aumenterá come secondi, ma dovrebbe essere uguale. Non puoi lasciare Vista senza antivirus, ma devi sempre disattivare il Defender per essere a pari con Xp.... Ripeto, per l'utonto é lento... Compreso me che lo sto testando su VmWare su Mac virtualizzato e non so dove disattivare il Defender...!!! Ahahaah!!

    RispondiElimina
  26. Franco, certo che ho fatto un confronto alla pari, se cerchi tra i miei post passati ho fatto il confronto tra Vista e XP con Windows Defender attivo su entrambi (WD e' un'applicazione che si puo' installare anche su XP), e guarda caso XP e' risultato piu' lento di Vista ;-)

    RispondiElimina