Wget (Polski)
GNU Wget to darmowy pakiet oprogramowania do pobierania plików za pomocą HTTP, HTTPS, FTP i FTPS (FTPS od wersji 1.18). Jest to nieinteraktywne narzędzie wiersza poleceń, więc można je łatwo wywołać ze skryptów.
Instalacja
Zainstaluj pakiet wget. Wersja git występuje w AUR pod nazwą wget-gitAUR.
Konfiguracja
Konfiguracja odbywa się w /etc/wgetrc
. Nie tylko domyślny plik konfiguracyjny jest dobrze udokumentowany, jego zmiana jest rzadko konieczna. Zobacz wget(1) § OPTIONS dla bardziej skomplikowanych opcji.
Automatyzacja FTP
Zwykle SSH służy do bezpiecznego przesyłania plików w sieci. Jednak FTP jest lżejszy pod względem zasobów w porównaniu do scp i rsync przez SSH. FTP nie jest bezpieczny, ale podczas przesyłania dużych ilości danych w środowisku chronionym zaporą ogniową w systemach powiązanych z procesorem, korzystanie z FTP może okazać się korzystne.
wget ftp://root:somepassword@10.13.X.Y//ifs/home/test/big/"*.tar" 3,562,035,200 74.4M/s in 47s
W takim przypadku Wget przesłał plik o wielkości 3,3 GiB z szybkością 74,4 MB/sekundę
W skrócie ta procedura to:
- skryptowalny
- szybciej niż ssh
- łatwo używane przez języki, które mogą zastępować zmienne łańcuchowe
- globbing capable
Proxy
Wget używa standardowych zmiennych środowiskowych proxy. Zobacz Proxy settings.
Aby skorzystać z funkcji uwierzytelniania proxy:
$ wget --proxy-user "DOMAIN\USER" --proxy-password "PASSWORD" URL
Serwery proxy, które używają formularzy uwierzytelniania HTML nie są uwzględnione.
integracja z pacmanem
Aby pacman automatycznie używał Wget i proxy z uwierzytelnianiem, umieść polecenie Wget w /etc/pacman.conf
, w sekcji [options]
XferCommand = /usr/bin/wget --proxy-user "domain\user" --proxy-password="password" --passive-ftp --quiet --show-progress --continue --output-document=%o %u
chmod 600 /etc/pacman.conf
.Używanie
Ta sekcja wyjaśnia niektóre scenariusze przypadków użycia dla Wget.
Podstawowe zastosowanie
Jednym z najbardziej podstawowych i najczęstszych przypadków użycia Wgeta jest pobranie pliku z Internetu.
$ wget <url>
Kiedy znasz już adres URL pliku do pobrania, może to być znacznie szybsze niż zwykłe pobieranie go w przeglądarce i ręczne przenoszenie do odpowiedniego katalogu. Nie trzeba dodawać, że po najprostszym użyciu prawdopodobnie można zobaczyć kilka sposobów wykorzystania tego do automatycznego pobierania, jeśli tego chcesz.
Zarchiwizuj całą witrynę
Wget może archiwizować całą witrynę internetową, zachowując prawidłowe miejsca docelowe linków, zmieniając linki bezwzględne na linki względne.
$ wget --recursive --no-parent --convert-links 'docelowy-adres-url'
W przypadku strony dynamicznej dostępne są dodatkowe opcje konwersji na statyczny HTML.
$ wget -recursive --no-parent --page-requisites --adjust-extension --convert-links --backup-converted 'docelowy-adres-url'
wget udostępnia również opcje obchodzenia mechanizmów zapobiegających pobieraniu.
$ wget --recursive --no-parent --convert-links --random-wait --execute robots=off --user-agent "Mozilla/5.0" 'docelowy-adres-url'
A jeśli zawartość stron trzecich ma być dołączona do pobierania, przełącznik -H/--span-hosts
może być użyty wraz z -r/--recursive
do rekursji do połączonych hostów.