Pitanje za AV Distributere u SiCG a i šire !!!

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

bobby ::Da li bi posle naseg testa distributeri bili usluzni da test i nase zamerke posalju proizvodjacima softvera?
Ima tu par jako bitnih stvari koje cemo da testiramo, a nema ih u americkim 'kozmetickim' testovima.
Jedna od njih je test instaliranja AV-a na vec zarazen komp (simulacija po scenariju). Jako malo AV-a ce proci ovaj test (mlatim se ciscenjem kompova vec godinama). Znam par AV-a ciju ce instalaciju da blokiraju cak i Spyware programi (eg: NAV).

Distributeri, spremite se za surovu istinu.
Ponasanje u mreznom okruzenju nije deo naseg testa, zasad nas interesuje samo ponasanje u tipicnom okruzenju za obicnog korisnika.

Sto se nas tice, svaki jasno definisani test, sa jasnom metodologijom i distributeru dostupnom bazom virusa je dobrodosao.

Ideja sa disk image-om je sasvim OK, jer se slika diska pravi na block 2 block sistemu i nema razloga da se sumnja da ce sistem biti vracen u pocetno stanje. Ukoliko se pravi image diska, umesto samo particije, onda ce i MBR biti postavljen na pocetno stanje.

Sto se surove istine tice, za ovakvu situaciju postoji tacna procedura.

Bilo bi zanimljivo prikazati i uporedjenje CPU Loada prilikom skeniranja, kao i odnos minimalih konfiguracija na kojima je moguce raditi uz aktiviran AV program.

Svakako treba prikazati ROI ili TCO, jer je ekonomski faktor znacajan za svako uporedjivanje.

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

Koncept testiranja:
Test antivirus programa

Istorija dokumenta:
-   ver 1.0 – 24.april.2005 – Boban Spasic

Sta smo i kako pripremili za test:

Test je osmisljen tako da se proveri integracija AV programa sa klasicnim Windows XP desktop okruzenjem. Ovo podrazumeva koriscenje interneta (web browser i mail client) i manipulaciju fajlovima na kompjuteru (pokretanje, kopiranje, brisanje …).
Testovi podrazumevaju rad sa programima koji dolaze uz sam Windows, kao i sa alternativnim programima. Ovde smo se odlucili za besplatne alternative, zbog njihovog velikog procentualnog ucesca ‘na trzistu’.  Da sumiram ovaj deo teksta: testirace se prepoznavanje virusa pri radu sa IE 6.0, Outlook Express, Mozilla Firebird, Mozilla Thunderbird. Manipulacija fajlovima u Windows Exploreru nece biti testirana, vec ce biti koriscen shareware program TotalCommander. Ovo radimo iz razloga sto svi AV programi dobro saradjuju sa Windows Explorerom, a uz to Windows Explorer je ogranicen u radu sa arhivama, tj. omogucava samo rad sa ZIP arhivama.
Posto se testiranje AV programa ne radi na jednom kompjuteru, vec je posao podeljen, testovi brzine skeniranja nece biti radjeni. Brzina skeniranja je za nekoga relevantan podatak, ali, s obzirom da ne poseduju svi programi ista podesavanja vezana za skeniranje, bilo bi neposteno uporedjivati program koji vrsi heuristicku analizu sa onim koji pri skeniranju ne zalazi ni u arhive.


Test (uopsteno):

Mnogi testovi, cije rezultate mozete naci na internetu, sadrze samo nabrajanje koji AV program je koliko virusa detektovao iz neke pripremljene arhive virusa. Praksa nas uverava da je ovo najnezahvalniji nacin ocenjivanja vrednosti nekog AV programa.
Nas pristup testiranju podrazumeva malo realnije okolnosti, i podrazumeva logiku i ponasanje onih koji vama salju viruse.


Test instalacije:

Prvo testiramo scenario kada je kompjuter vec zarazen virusom pre instalacije AV programa. Dosta njih se odluce da instaliraju AV program tek kada naidju na problem.
Odlucili smo se za pseudo-test: necemo stvarno zaraziti kompjuter, vec cemo se ponasati kao da je zarazen. Za referencu smo uzeli jedan trojanac, koji kada je aktivan, onemogucava instalaciju svih dosad poznatih AV programa. Taj trojanac na spisku ima 381 program kojima onemogucava rad ukoliko se startuje pre njih. Listu programa za blokiranje moze da dopuni bilo ko, nije potrebna prepravka trojanca od strane programera, znaci, tretiramo ovu njegovu opciju kao 100% uspesnu. Korisniku ostaje samo da proba da instalira AV program iz bezbednog rezima rada Windowsa (Safe Mode). Uspesnost instaliranja i rada u bezbednom rezimu rada Windowsa je prvi test koji radimo.
Od ovog testa su delom izuzeti programi koji se ne instaliraju, vec se pokrecu na alternativan nacin. Tipican primer ovakvih programa je AvastBartPE.


Test integracije i Realtime zastite:

Sledecih par testova su na temu saradnje AV programa i internet browsera, kao i AV programa i mail klijenata. Testiramo da li AV program reaguje kada u browseru kliknemo na fajl (link) koji sadrzi virus sa ocigledno rizicnom ekstenzijom (u nasem primeru EXE ekstenzijom), klik na fajl sa nepoznatom ekstenzijom (isti fajl iz prethodnog primera, ali sa ekstenzijom 1667), i klik na arhivu u kojoj je virus sa pravom ekstenzijom (u nasem primeru ZIP koji sadrzi EXE).
Test integracije sa mail klijentima se sastoji od pokusaja slanja i prijema maila koji sadrzi Mail Bomber.
Sledi test reakcije kada neki program pristupa zarazenom fajlu na lokalnom disku. Pristupacemo folderima koji sadrze virus sa pravom ekstenzijom, laznom ekstenzijom i arhivi koja sadrzi virus sa pravom ekstenzijom.


Test podrzanih formata arhiva:

Testiracemo mogucnosti AV programa u prepoznavanju i ulazenju u arhive. Testiracemo na sledecim tipovima arhiva:
7z, ace, cab, ha, jar, lzh, rar, tar, tgz, zip, bz2, gz, ppm, z, tar.bz2.


Test ‘prokrijumcarenih’ virusa:

Scenario je da je virus ugradjen u bezazlen tip fajla (u nasem primeru TXT fajl). Postoji mogucnost da na vasem kompjuteru postoji program koji ce iz tog fajla izdvojiti virus i aktivirati ga. Scenario je realistican, i desava se cesto u praksi.


Test ‘upornosti’:

Cesto se virusi salju tako sto se sakriju u arhivi, ta arhiva u drugoj, i tako par puta. Mnogi AV programi udju samo u pravu arhivu, ali ne ulaze rekurzivno i u ostale arhive unutar prve. Spakovali smo virus u arhivu, koja je i sama arhivirana jos 9 puta. Znaci, virus je tek u desetoj rekurziji u arhivi.


Test prepoznavanja packera i cryptera:

Svaki programer zna da se EXE programa moze spakovati u cilju dobijanja manjeg fajla. Jedan od poznatijih exe-packera je UPX. Skoro svaki AV prepoznaje virus, iako je UPX-ovan. Sta je sa ostalim packerima i crypterima (programi koji stite vas EXE od reverznog inzenjeringa). Testiramo:
Armprotector, aspack, cexe, codecrypt. Exe32pack, fsg, lamecrypt, mew5, mew11, mslrh, nfo, noodlecrypt, packman, pe-crypt, pecompact2, ped, pelocknt, pencrypt4, pepack, peshield, pespin, petite, pex, telock, upack, upx, vgcrypt, wwpack32, yodacrypt, yodaprotect.


Extra testovi:

Testiramo par neobjavljenih ili retkih virusa (iz prve ruke). Testiramo par exploita za igre i programe. Testiramo par virusa za druge platforma (ne-x86). Ovo zadnje (ne-x86) nece uci u ocenu.


Test prezivljavanja:

Zarazicemo sistem jednim od (zasad) najgorih mogucih trojanaca. Testiracemo da li ce AV program ‘ostati ziv’ posle restarta Windowsa, i da li moze da izadje na kraj sa tim trojancem (da ga ukloni sa sistema). Probacemo kako iz normalnog, tako i iz bezbednog rezima rada Windowsa.


Ovaj tekst je podlozan promenama.





javite svaki vas predlog ili zamerku u sledecih dva dana, jer uskoro pocinjemo test. Svako je dobrodosao da predlozi neki test.
Test dezinfekcije je ispao sa liste testova (da li je EXE jos uvek dobar posle dezinfekcije). Ukoliko insistirate, moze da se uradi i taj test.

Dopuna: 24 Apr 2005 11:51

Zaboravio sam da spomenem: ocenjivace se i da li AV program ima mogucnost pravljenja Rescue diskete/CD-a, i da li ista moze da pristupa NTFS particijama.

Dopuna: 24 Apr 2005 11:56

Detekcija Spyware/Adware-a ne ulazi u ovaj test. Kada to bude standardna mogucnost svih AV programa, i kada oni po tome budu mogli da konkurisu sadasnjim Spy/Ad-ware cistacima, onda to moze postati standardni deo testa.
Ne postoji argumenat kojim nas mozete navesti da u ovom testu testiramo i tu mogucnost programa. Bice samo navedena u ekstra opcijama, kao i ukoliko se sa programom dobija i FW, ili nesto trece. U kvalitet tih ekstra opcija necemo da ulazimo, i to ce biti spomenuto u tekstu.

Dopuna: 24 Apr 2005 12:12

Arhiva virusa koju imamo sadrzi oko 23000 virusa, to sam zaboravio da spomenem. Mislim da je dovoljno za probu. Virusi datiraju iz perioda 1991 - 2005.

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

Mogli biste da ubacite i False/Positive test. Fajlovi koji lice na viruse a nisu virusi a AV ih prijavljuju kao takve. Posto pomalo znam o izvoru zarazenih fajlova za test, moram da napomenem da takvih na tom spisku ima nekoliko procenata.

AV koji se zasnivaju na heuristici ce odbaciti te fajlove kao nezarazene i mozda ce to uticati na rezultat. Dakle, poseban test za laznjake.

Smislicu jos ponesto.

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

Jos jedna bitna stvar bi trebalo da se proveri, a to je testiranje multivolume arhiva.
Na primer uzme se grupa virusa i spakuje, ali tako da se to
izdeli u nekoliko fajlova koji svi zajedno cine arhivu.
U pojedinim situacijama bi virus koji je ovako zapakovan mogao da prodje
neprimecen, jer je na primer podeljen izmedju nekoliko fajlova, pa ako
program skenira samo jedan nece videti ceo virus.

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

@KAV distributer
Uzeto k znanju. Samo je sada potrebno naci virus cije je telo toliko veliko da se moze podeliti na arhive. Da razjasnim sta sam hteo reci: mi imamo zarazene fajlove, ali niko od nas ne moze sa sigurnoscu reci gde je tacno virus u fajlu, pa da podesim arhiver da podeli fajl tako da pola virusa bude ovamo, pola onamo.

Potrudi cu se, mozda mi uspe sa nekim DOS virusom koji je nakacen na 'goat' fajl.

@F-Secure distributer
Ukoliko znas odakle nam je arhiva, i znas koji su fake virusi, molim te posalji spisak.
Jedino sto nam je ocigledno u nasoj arhivi su Joke fajlovi.

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

Mozda bi bilo dobro da pokusate i nesto sto do sada nije niko... da istestirate brzinu reakcije....

Nadjite modifikovani virus koji ne prepoznaje nijedan od AV (cak ni heuristicki sto ce biti tesko) a onda ga posaljite AV kompanijama. Mozda jos bolje lokalnim distributerima kako bi se proverila cela linija odbrane (recimo u 3 ujutro ili sl.

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

Pa nije lose, ali to nam stvara jos vise posla. Morali bi da proveravamo update non-stop, pa da vidimo kada su odradili posao.
Svako od nas testira po par AV programa, ne mozemo ih zadrzati toliko na kompu da bi proveravali update. Moramo da testiramo i one druge.

Uh, koliko samo ima dobrih ideja ovde...

Prosto zalim sto me neko ne uposli da testiram AV programe, imam toliko ideja da bih svaki AV morao da testiram barem po nedelju dana.

Steta sto se kompanije koje pisu AV programe ne druze malo vise sa ljudima protiv kojih se bore.
Vecina autora virusa su nestali sa interneta u 2002.-oj. Da li su se povukli u miran zivot, ili su nasli posao u nekoj AV kompaniji, to neznam.
Citajuci nocima njihove tekstove, saznao sam puno stvari. Jedan od foruma gde se najvise moglo nauciti danas postoji samo u Google cache. Verujem da su te forume posecivali i ljudi koji rade za AV kompanije.
Ako jesu, zasto ne ucine nesto da poboljsaju svoje proizvode, ako vec znaju gde su propusti.
Sa ostalim moderatorima cemo tek utvrditi koji test ce koliko poena doneti, a ja cu da tipujem da, ukoliko AV program padne na ulasku u naprimer 7z arhivu, ili slicnu banalnost, da se tom programu srezu poeni samo tako.
Svi ti algoritmi za pakovanje, kompresiju, relokaciju i remapiranje u sklopu fajla, su na siroko poznati, pa ako je neka kompanija toliko tvrdoglava da ih ignorise, ne zasluzuje ni poene.
Sta vredi AV programu ako detektuje server nekog trojanca, ako ne ume da prepozna dropper koji ce server da izbaci i aktivira. Sta vredi prepoznavanje tog servera u plain-EXE ako ce plain EXE da se formira tek u memoriji, a na disku je kompresovan FSG-om ili slicnim exe kompresorima za koje se source moze naci na netu. Ne prepoznavanje tih i takvih moze sebi da dopusti samo neka kompanija koja vredja inteligenciju svojih korisnika i autora malicioznih programa.

Jos jednom, ovo nece biti kozmeticki test kao neki u americkim casopisima ili kao kod onog Grka. Na nasem testu je dovoljno da smo imali i samo jedan virus na kojem bi smo radili test, i opet bi se napravila ogromna razlika medju AV programima.

Uh, ala sam se ja zaneo u pisanje... bas se razbacujem svojim znanjem okolo...

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

Pa AV kompanije, koje se danas tako zovu iz navike, i govore da sam anti-virus nije dovoljan. Bez firewall-a i sl. intrusion prevention i detection sistema, tesko je raditi ozbiljan posao na webu. Kombinacijom nekoliko orudja dobija se priblizno savrsena zastita.

A inace, retko koji pisac virusa zavrsi u AV kompanijama, barem sto se tice najvecih. Recimo u F-Secure postoji izrazito pravilo da se ne zaposljavaju pisci virusa koji su na bilo koji nacin zavrsili u "divljini".

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

Jos jedna sugestija, a u vezi "prezivljavanja" trojanca - nemam pojma o kom trojancu je rec, ali mislim da je veoma mali uzorak uraditi to samo sa jednim.
Moze da se desi da neki AV iz nekog razloga zapne bas na njemu, a kod drugih 99 bi se izvukao, dok drugi npr. se bas tu izvuce a sa onih 99 ne moze da izadje na kraj.
Rezultat bi bio da je taj sa 1% izvlacenja bolji od onog sa 99% izvlacenja, samo zato sto se gledao jedan konkretan trojanac a ne verovatnoca "prezivljavanja"
A posto nema nikakve epidemije koja je u toku, prezivljavanje jednog trojanca koji ne hara netom ne bi trebalo da bude neki bitan podatak za siru sliku.

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

Ako sam dobro razumeo, u pitanju je trojanac koji sprecava instalaciju AV (nesto valjda kao matori KLEZ) pa se ipak razlikuje od ostalih.