MC test AntiVirusa

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

do 15. maja bi morao da bude gotov test.
tada cemo i objaviti testove

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

Molim vas da nebudete jako kriticni prema testu,
Jer korist od njega ce imati mnogi samim tim sto ce se bas do detanja upoznati sa antivirusnom tehnologijom koja se koristi za odradjivanje takvih testova.,
i ovaj, "demokratski" pristup njegovom pravljenju , pruzanje mogucnosti svima da sugerisu i tako ucestvuju u njemu je sjajan.

Samo napred.

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

Pokusacu da uskoro napisem tekst pod naslovom "Filozofija testiranja AV programa" u kome cu da objasnim sve ono sto ja ocekujem od savrsenog AV programa i kako naci takav.
Upoznacete AV programe iz malo drugacijeg ugla od onog "kolika mu je baza i koliko zauzima RAM-a". Videcete da to i nisu toliko bitne stvari u zivotu.

btw. za sledeci test koji budemo radili, spremicemo program koji ce dobar deo testa automatizovati, tj. odraditi ga umesto vas. Takav program ce mozda omoguciti da i vi budete u prilici da uradite test na vasem kompjuteru, bez da mi razmisljamo da li cete mozda zaraziti vas komp. Ovo nije obecanje, ali cemo se potruditi da ga realizujemo.

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

ok posto se javljam od druga nemogu da sve procitam ali me samo interesuje da li ste radili sa prepakovanim arhivama (ono jedan zip file pa ga zipujes u jos jedan i jos jedan... i tako bude :zakopcan: u 10 arhiva (ali je i dalje 1 file))?

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

@krak
jesmo

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

Pozdravljam ideju da se testiraju AV programi ; drzite se vec definisanih pravila za testiranje -nemojte se opterecivati sitnicama.
Nazalost mislim da dosta ljudi ovo nece ni pogledati a kamoli promeniti AV program (teske Srbende )......

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

bobby ::Iznecu vam drugi problem, koji ce po svemu sudeci napraviti veliku razliku izmedju AV programa.
Kopiram tekst iz mog posta u AV Test forumu (u koji vi ne mozete da udjete): Test9 i Test10 ce biti pravi terminatori za AV programe, jos ce neki da ima i ispod nula poena, tacno osecam.
Bruka test...
Pazite sada ovako, na Test9 KAV ima samo -2%, na Test10 ima -4%.
AVG ima na T9 ima -10%, na T10 ima - 56%
Sta li ce ostali jadnici da imaju.




Evo nekoliko primedbi, sto ne znaci da morate da izmenite sistem testiranja.

1. Kako znas da su u arhivi zasita sve validni uzorci virusa? Ako je uzorak kao kod Grka... (test 1)

2. Klik na link ne mora da pokaze nista dok se fajl ne spusti na disk, u Temporary folder... (testovi 2-5)

3. testovi 6, 7 i 8 - Samo ulazenje u folder ne mora da pokaze nista, posebno kada je virus u arhivi

4. test 9 - mozemo da polemisemo da li je ovo validno. Konstatacija da AVG ne vidi neke manje zastupljene i Linux arhive stoji, ali za Windows verziju. Linux verzija ce detektovati tar ili gz...

Sa druge strane, koliko prosecnih korisnika zna da se snadje sa bilo cim osim sa zip ili arj arhivama? Total Commander (barem starije verzije) traze eksterne arhivere da bi raspakovali arj, lzh, arc ili rar fajl. Koliko korisnika ce da to postavi?

A opet, cak i kada AVG ne prepozna .tar arhivu, pokusaj raspakivanja se zavrsava lose po virus... Dakle, oni -XX% je malo diskutabilno.

AVG je dizajniran da ne skace na arhive u kopiranju, cim smanjuje pritisak na CPU. Ali ne dozvoljava da se arhiva raspakuje. Da li je zbog toga losiji od drugih?

(Pominjem AVG jer je moj AV, ali prica moze da se odnosi i na ostale AV programe)

5. test 10 - da li je to samo skeniranje ili pokusaj egzekucije pakovanog programa? Ako je samo skeniranje, onda rezultat moze da bude sporan.

Dobro, AVG nije prepoznao X pakovanih fajlova, ali mozda moze da ih ubije u raspakivanju i izvrsenju. Da li je onda zaista toliko neefikasan?

6. test 14 - kako znas da su to virusi?

7. Sve sto se ne prepozna bi trebalo dostaviti kao samples na CD-u.

Toliko za sada.

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

1. Virusi iz arhive su prepoznati od strane barem jednog AV programa
2. Upravo tako i mi tretiramo ovo
3. Proba se i kopiranje istog u neki drugi folder. Kod takve operacije ipak je ocekivana reakcija
4. TAR i GZ vise nisu luksuz samo *nix sistema (JAR je isto sto i TAR). LZH je u Japanu zastupljena sa preko 80% arhiviranih programa. ARJ nije testiran. Ove zamerke mozete uputiti samo .z .ha i .ppm arhivama, ali je nas cilj na testu bio da nadjemo sve sto smo mogli naci kao manu. Sledeci test ce sadrzati jos vise arhiva, ukljucujuci i egzoticne tipa StuffIT arhiva za Windows. MacOS arhive nece biti ukljucene zbog nekompatibilnosti fajl-sistema (deljenje fajlova na resource i fork fajlove).
5. Test10 - program pakovan exe-packerom se NE RASPAKUJE, izvrsava se pakovan, tako da nema nista od detekcije ukoliko AV program ne prepoznaje metod pakovanja. Neki od njih se raspakuju u memoriji, ali to ne pomaze AV programu jer real-time engine ne posmatra promene u memoriji. Skener MORA da detektuje ove fajlove.
U prilog mojoj tvrdnji ide i to da svi skeneri prepoznaju UPX, ASPack i PKLite. Ukoliko bi moja tvrdnja bila pogresna, skeneri to ne bi razmatrali. Sledeci test ce sadrzati jos vise pakera, a uvescemo i test installera, posto su i oni po prirodi exe-packeri (primer: MSI instaler, WISE instaler, NSIS, InnoSetup...). Ukoliko dokazemo da ima smisla, uvescemo jos i test image fajlova (floppy image, CD-image formati). Par floppy image-a smo vec imali na testu jer su MBR sektori tih disketa bili zarazeni virusom.
6. Test14 i Test 15 : sa ovih testova ce biti izdvojeni svi fajlovi prepoznati od strane BAREM JEDNOG od testiranih programa. Izdvojeni fajlovi ce biti ukljuceni u rezultat sa Testa 1. Preostali fajlovi iz ova dva testa NE ULAZE u brojanje
7. Na zahtev mozemo poslati fajlove iz arhive za Test1 i fajlove iz Test14 i 15 koji su identifikovani kao maliciozni, i to fajlove koji nisu prepoznati. Ocekujemo i vase razumevanje ukoliko ovo ne uspemo da ostvarimo, jer je posao izdvajanja netaknutih fajlova ogroman. Mnogi programi imaju obicaj da samo dezinfikuju fajl, iako im je receno da brisu. Iza takvih programa ostanu ocisceni fajlovi. Ukoliko vam posaljemo i takve fajlove, proglasicete nas test nevazecim, bez nase krivice.
Upravo za ovi svrhu radimo na programu koji ce da izdvoji samo netaknute programe. Slanje primeraka ce zavisti od brzine razvoja ovog programa.

Hvala na razumevanju

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

AVG Distributer ::koliko prosecnih korisnika zna da se snadje sa bilo cim osim sa zip ili arj arhivama?
prosecan korisnik verovatno nikada i nije cuo za ARJ arhive

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

Kriticna tacka ovog testa ce biti davanje ocena, posto se nase ocenjivanje bitno razlikuje od ocenjivanja na koja ste dosad navikli.
Zasad stoji predlog da rezultate uporedjujemo sa jednim referentnim programom, koji ce po svemu sudeci da bude jedan AV program proizveden oktobra 2000 godine.
Programi ce dobijati ocene u fazonu "bolji je", "losiji je", jako je los" i dobijace nase preporuke i utiske.
Izgleda da cemo morati da odustanemo od davanja preciznih poena, posto ce to definitivno lose da utice na pojedine programe.

Ovaj test ce proci ovako, za sledeci spremamo daleko bolju metodiku. Pokupili smo jaaako puno znanja radeci ovaj test.
Da najavim da ce sledeci test sadrzati barem 20 pojedinacnih testova, automatizovan postupak testiranja (program posebne namene).
Jedan od testova ce biti i "ubijanje AV-a", zato slobodno predlozite proizvodjacima da porazmisle o imenima procesa koji se vide u Task Manageru. Jedan test ubijanja ce ici po unapred definisanoj listi, kao sto to rade trojanci. Drugi ce ici po listi koja ce se sastavljati od razlike izmedju liste procesa pre i posle instalacije AV programa. Brojacemo iz koliko pokusaja je program ubijen sa liste procesa.
O ovome slobodno obavestite proizvodjace.

Dalje, ovaj test ce biti preveden i publikovan na velikom broju internet sajtova. Koraci su vec preduzeti, i imamo potvrdjeno objavljivanje od par pozbatijih sajtova.
S obzirom na prethodno, ocekujte da ce sledeci test biti daleko poznatiji sirokoj javnosti od ovog sada.

Nasa je namera da nateramo proizvodjace da prave bolje programe time sto cemo objaviti sve nadjene mane. Imajte u vidu da nam je ovo moto.

Dopuna: 10 Maj 2005 13:38

@ZoNi
Prosecan korisnik veruje kozmetickim testovima i reklamama AV proizvodjaca. Mi ne padamo na to.
Nisam siguran da li postoji SFX ARJ, ali, korisnika ne zanima koja je kompresija kada zna da ce SFX da obavi posao sam.

Dopuna: 10 Maj 2005 13:41

AVG Distributer ::

A opet, cak i kada AVG ne prepozna .tar arhivu, pokusaj raspakivanja se zavrsava lose po virus... Dakle, oni -XX% je malo diskutabilno.



Ideja je da korisnik koji ima AV nece ni raspakovati tu arhivu, vec ce je odmah snimiti na CD i dati je prijatelju koji nema instaliran AV program. Niko od nas ne zeli da bude napljuvan od strane dobrog prijatelja, zar ne?