web crawler?

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

Cao.
Ortaci i ja radimo na razvoju web prodavnice.
Moj zadatak je da uporedim razlicite (open-source za sada) tehnologije za search engine.

Pre svega, bih voleo da me neko uputi koje parametre da uzmem u obzir?

Naime, radi se o "unutrasnjem"search engine-u nesto kao npr. amazon ili ebay, dakle ne kao google (eksterno).

-Velicina: negde sam citao da razni tipovi algoritama za indeksiranje reci prave razlicite rezultate u pogledu odzivnosti (brzine), i sl.
-Skalabilnost - u smislu da nisu svi crawleri fleksibilni u odnosu ili na tehnologiju ili na velicinu indeksiranja


Sta mislite koje bih jos parametre mogao da uzmem u obzir?
Da li implementacija search engine-a zavisi od tipa servera na kojoj je prezentacija, da li ima uticaja da li je web radjen u html5 ili u php-u?

ako moze i neki link (sem wikipedie...)

Hvala svima.