O lynx é uma browser em modo texto que possui diversos recursos e um destes recursos permite a extrair um lista de todos os links de uma página específica.
Projeto : lynx.isc.org
Para instalar o lynx execute.
Linuxapt-get install lynx
Execute os lynx com os seguintes parâmetros.
lynx -listonly -dump 100security.com.br > /var/www/links.txt
lynx : Ferramenta.
-listonly : Com -dump, obriga a mostrar apenas a lista de links.
-dump : Parâmetro que define a saída para um arquivo ou para saída padrão (console).
100security.com.br : Site Alvo.
> /var/www/links.txt : Caminho e arquivo que armazena o resultado da extração.
Acesse o arquivo links.txt pelo browser para visualizar a relação dos links extraídos: http://ip-do-servidor/links.txt