HOWTO: pravljenje lista za preuzimanje sadrzaja putem wget-a

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

Wget program nam omogucava da skidamo sadrzaj sa interneta i jos mnogo toga. Danas cete saznati kako da skinete sadrzaj sa interneta pomocu programa wget citajuci fajl koji sadrzi sve vase linkove za preuzimanje. Sta to znaci? To znaci da cete dobiti skriptu i da nju mozete koristiti da skidate fajlove sa interneta koje ste definisali u samo jednom fajlu. Pravljenje lista za preuzimanje nikada nije bilo lakse


Sta vam treba
Neophodni su vam sledeci programi da bi mogli da koristite skriptu koja sluzi za preuzimanje sadrzaja koji je definisan u listi:
- sed
- head
- wget
- find

Head je deo "gnu core utils" paketa i on stize uz sve distribucije dok su sed i wget programi koji nisu sastavni deo svake distribucije. Proverite da li imate ove programe pre nego sto nastavimo.



Skripta
Pre svega cu da naglasim da ova skripta postoji na internetu medjutim onda nije optimizovana za brze izmene stoga sam je malo preuredio i dodao opcije za menjanje direktorijuma u kojem se nalaze preuzeti dokumenti.

Evo skripte:
#!/usr/bin/env bash
# wget-list: manage the list of downloaded files

DL_LIST="$HOME/wget-list.txt"
DESTINATION_DIR="$HOME"

while [ "`find $DL_LIST -size +0`" ]
 do
  DL_URL="`head -n1 $DL_LIST`"
  wget -P $DESTINATION_DIR -c $DL_URL
  sed -si 1d "$DL_LIST"
 done


Sacuvajte skrptu u fajl bilo kog imena i dozvolite pokretanje iste sa sledecom komandom:
chmod 755 putanja_do_skripte
gde je "putanja_do_skripte" putanja do vase skripte.
Primer putanje: "~/wget-list.sh" ili "/usr/bin/fdm"

DL_LIST sadrzi fajl koji ce sadrzati listu vaseg sadrzaja za preuzimanje. Primer: "~/wget-lista.txt" ili "~/.wget_list"
DESTINATION_DIR sadrzi putanju do vaseg direktorijuma u kome cuvate sve sto ste preuzeli pomocu ove skripte! Primer ove putanje: "~/korisnik/dl" ili "~/"

!! Napomena: AKo zelite da koristite vas "~/" direktorijum onda je najbolje da upisete "$HOME" buduci da je to isto sto i "~/"!

Fajl koji sadrzi listu sadrzaja za preuzimanje moze sadrzati samo jedan url po liniji! Primer ispravnog fajla koji sadrzi url-ove za preuzimanje sadrzaja:
http://www.mojsajt.net/nesto/marica_i_ivica.avi
http://www.mojsajt.net/nesto/marica_i_ivica.mpeg
http://www.mojsajt.net/nesto/NOVA GODINA.mp3

Obratite paznju na to da se "%20" koristi kao zamena za razmake u url adresama! Dakle "http://www.mojsajt.net/nesto/novogodisnje razvaljivanje.mp3" ce postati "http://www.mojsajt.net/nesto/novogodisnje%20razvaljivanje.mp3".


Ostalo
Skripta je napravljena tako da nastavi preuzimanje sadrzaja tamo gde ste poslednji put stali! To je omoguceno opcijom "-c" koja se prosledjuje wget programu.

Prekidanje preuzimanja se vrsi pritiskanjem "CTRL" + "C" tastera na tastaturi.


Toliko od mene za danas

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

Odlično, ako radi.

Interesuje me samo da li skripta radi lepo i ako je 'multiple download' u pitanju? Ne baguje nešto? Pošto sam ja nalazio na netu nekad ranije par rešenja i pokušavao da napravim ovako nešto, međutim Gwget mi se zaglupi i zabaguje ako postoji više download fajlova...

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

@klodovik
Radi (upravo je koristim)! Vidis skripta ce da radi ako je pokrenes jednom ili 15x. wget radi kada ga pokrenes vise puta (probao sam i mogu da tvrdim ovo).
Usko grlo ti je net i konekcija pa ako imas sporoji net onda ce to da bude vrlo sporo

Uostalom probaj . Nista te ne kosta.

• 0Niko još nije pohvalio poruku.
  Registruj se da bi pohvalio/la poruku!

Upravo sam probao. Radi super, zahvaljujem na 'šeru', ovo mi odavno treba.

Inače veza mi je ok, na SBB - u sam, 4 MBps.