it-swarm-pt.tech

Como posso baixar um site inteiro?

Como posso baixar todas as páginas de um site?

Qualquer plataforma está bem.

341
joe

HTTRACK funciona como um campeão para copiar o conteúdo de um site inteiro. Esta ferramenta pode até mesmo pegar as peças necessárias para fazer um site com conteúdo de código ativo funcionar offline. Estou espantado com as coisas que podem replicar offline.

Este programa fará tudo o que você precisar.

Caçada feliz!

319
Axxmasterr

Wget é uma ferramenta clássica de linha de comando para esse tipo de tarefa. Ele vem com a maioria dos sistemas Unix/Linux, e você pode obtê-lo para Windows também. Em um Mac, Homebrew é a maneira mais fácil de instalá-lo (brew install wget).

Você faria algo como:

wget -r --no-parent http://site.com/songs/

Para mais detalhes, consulte Manual do Wget e seus exemplos , ou, e. estes:

264
Jonik

Use o wget:

wget -m -p -E -k www.example.com

As opções explicadas:

-m, --mirror            Turns on recursion and time-stamping, sets infinite 
                          recursion depth, and keeps FTP directory listings.
-p, --page-requisites   Get all images, etc. needed to display HTML page.
-E, --adjust-extension  Save HTML/CSS files with .html/.css extensions.
-k, --convert-links     Make links in downloaded HTML point to local files.
143
user9437

Internet Download Manager tem um utilitário Site Grabber com um monte de opções - o que permite que você baixe completamente qualquer site que você quiser, do jeito que você quiser.

  1. Você pode definir o limite do tamanho das páginas/arquivos para download

  2. Você pode definir o número de sites de filiais a serem visitados

  3. Você pode mudar a maneira como os scripts/popups/duplicates se comportam

  4. Você pode especificar um domínio, somente sob esse domínio todas as páginas/arquivos que atendem às configurações necessárias serão baixadas

  5. Os links podem ser convertidos em links off-line para navegação

  6. Você tem modelos que permitem escolher as configurações acima para você

enter image description here

O software não é gratuito - veja se ele atende às suas necessidades, use a versão de avaliação.

8
Lazer

Você deve dar uma olhada em ScrapBook , uma extensão do Firefox. Tem um modo de captura em profundidade .

enter image description here

8
webjunkie

itsucks- esse é o nome do programa!

7
kmarsh

Vou abordar o buffer on-line que os navegadores usam ...

Normalmente, a maioria dos navegadores usa um cache de navegação para manter um pouco os arquivos dos quais você faz o download de um site, para que você não precise baixar imagens estáticas e conteúdo repetidamente. Isso pode acelerar bastante as coisas em algumas circunstâncias. De um modo geral, a maioria dos caches do navegador é limitada a um tamanho fixo e, quando atingir esse limite, excluirá os arquivos mais antigos no cache.

ISPs tendem a ter servidores de cache que mantêm cópias de sites comumente acessados, como ESPN e CNN. Isso poupa o trabalho de acessar esses sites toda vez que alguém em sua rede vai até lá. Isso pode significar uma economia significativa na quantidade de solicitações duplicadas para sites externos ao ISP.

5
Axxmasterr

Eu gosto Offline Explorer .
É um shareware, mas é muito bom e fácil de usar.

5
Eran

Eu não fiz isso em muitos anos, mas ainda existem algumas utilidades lá fora. Você pode querer tentar Web Snake . Eu acredito que usei isso anos atrás. Lembrei-me imediatamente do nome quando li sua pergunta.

Eu concordo com Stecy. Por favor, não martele seu site. Muito mal.

4
Bobby Ortiz

WebZip é um bom produto também.

4
Herb Caudill

Para Linux e OS X: eu escrevi grab-site para arquivar sites inteiros em WARC files. Esses arquivos WARC podem ser navegados ou extraídos. O grab-site permite controlar quais URLs ignorar usando expressões regulares, e elas podem ser alteradas quando o rastreamento estiver em execução. Ele também vem com um extensivo conjunto de padrões para ignorar URLs de lixo eletrônico.

Há um painel da web para monitorar rastreamentos, bem como opções adicionais para ignorar conteúdo de vídeo ou respostas em um determinado tamanho.

3
Ivan Kozik

DownThemAll é um add-on do Firefox que irá baixar todo o conteúdo (arquivos de áudio ou vídeo, por exemplo) para uma determinada página da web em um único clique. Isso não faz o download do site inteiro, mas isso pode ser algo que a pergunta estava procurando.

3
Will M

Teleport Pro é outra solução gratuita que irá copiar todos e quaisquer arquivos de qualquer que seja o seu alvo (também tem uma versão paga que lhe permitirá obter mais páginas de conteúdo).

3
Pretzel

Tente BackStreet Browser .

É um navegador offline gratuito e poderoso. Um programa de download e visualização de sites de alta velocidade e multi-threading. Ao fazer várias solicitações simultâneas de servidor, o BackStreet Browser pode baixar rapidamente todo o site ou parte de um site, incluindo HTML, gráficos, miniaplicativos Java, arquivos de som e outros arquivos definidos pelo usuário e salva todos os arquivos no disco rígido, ou como um arquivo Zip compactado e visualizado off-line.

enter image description here

3
joe

O venerávelFreeDownloadManager.orgtem esse recurso também.

O Free Download Manager possui dois formulários em duas formas: Site Explorer e Site Spider :

Site Explorer
O Site Explorer permite que você visualize a estrutura de pastas de um site e faça o download dos arquivos ou pastas necessários.
Aranha HTML
Você pode baixar páginas inteiras ou mesmo sites inteiros com o HTML Spider. A ferramenta pode ser ajustada para baixar arquivos apenas com extensões especificadas.

Acho Site Explorer é útil para ver quais pastas para incluir/excluir antes de tentar baixar o site inteiro - especialmente quando há um fórum inteiro escondido no site que você não deseja baixar por exemplo.

1
David d C e Freitas

Potência wget

Enquanto o wget já foi mencionado, este recurso e linha de comando eram tão simples que eu merecia ser mencionado: wget -P /path/to/destination/directory/ -mpck --user-agent="" -e robots=off --wait 1 -E https://www.example.com/

Veja este código explicado em explicahell

1
Shwaydogg