Бывают в жизни ситуации, когда необходимо восстановить сайт, который перестал функционировать, а бэкап сайта утерян, или не был сохранен. Наверное, возникает у Вас вопрос: а почему данная статья находится в разделе Windows 10?
Всё очень просто! Мы расскажем как восстановить сайт с web.archive.org и будем мы это делать прямо на компьютере с операционной системой Windows 10.
Предыстория
Работая несколько лет назад в одной организации я создал там сайт предприятия и обслуживал его. Когда я уволился, то естественно дальнейшее обслуживание сайта уже было не моей заботой…..Некоторое время ко мне обратилось руководство данной организации с просьбой восстановить работу сайта.
Причина: они не оплатили хостинг, и файлы сайта следовательно были утеряны, а бэкап затерялся где-то в старых дисках ПК. Они заметили что поток клиентов к ним понизился существенно, и было предположение, что это по причине неработоспособности сайта.
Моя цель: восстановить оригинальные статьи и картинки, дизайн сайта. Полазив в интернете, я нашел кучу статей на тему как восстановить сайт с вебархива, как скачать сайт с web.archive.org. Но та инфа была поверхностная, и в конце обязательно присутствовало предложение помочь за деньги. Будучи обычным пользователем ПК, я собрал инфу как восстановить сайт из вебархива через командную строку Windows.
И так, приступим! Данная статья поможет скачать сайт с web.archive.org тем, у кому требуется восстановить пару десятков статей.
Как установить Ruby в Windows
Для чего устанавливать Ruby
Ruby — это скриптовый язык, то есть для запуска программ не требуется предварительная компиляция. В этом смысле Ruby является аналогом языков программирования PHP, Python, PERL и других.
Ruby достаточно популярный язык и на нём написано много интересных программ; если говорить применительно к InfoSec, то в качестве примеров можно привести знаменитые WPScan, WhatWeb, Wayback Machine Downloader и другие.
Установив Ruby на Windows вы сможете запускать программы, написанные на этом языке, а нас далее интересует программа Wayback Machine Downloader.
Как установить Ruby на Windows
Для установке перейдите на страницу https://rubyinstaller.org/downloads/
Там вы увидите много вариантов установщика, которые различаются не только версиями, но и составом скаченных файлов. Исполнимые файлы являются самодостаточными установщиками для Windows, которые включают язык Ruby, окружение выполнения, важную документацию и прочее. Если вы не знаете, какую версию установить, чтобы начать знакомство с Ruby, то рекомендуется установщик Ruby+Devkit * (x64)— а у меня как раз комп с ОС Windows 10 PRO x64 .
Он предоставляет самое большое число совместимых gem (пакеты Ruby) и устанавливает MSYS2-Devkit вместе с Ruby, благодаря чему gem с C-расширениями могут быть скомпилированы сразу после завершения установки.
Запустите скаченный файл. Соглашаемся с лицензионным соглашением и на следующей странице выставляем все галочки:
Рекомендуется установить MSYS2, поскольку кроме упомянутой выше возможности компилировать пакеты для Ruby, MSYS2 обеспечивает консольное окружение с функциями Linux (примерно как это делает Cygwin, но с дополнительными возможностями).
Оставьте галочку на последнем окне для настройки инструментов разработчика MSYS2 и нажмите Finish.
Далее нам предлагается установка компонентов Ruby:
1 2 3 4 5 | 1 - MSYS2 base installation 2 - MSYS2 system update (optional) 3 - MSYS2 and MINGW development toolchain Which components shall be installed? If unsure press ENTER [1,3] |
Перевод:
1 2 3 4 5 | 1 — базовая установка MSYS2 2 — обновление системы MSYS2 (необязательно) 3 — инструменты разработчика MSYS2 и MINGW Какие компоненты установить? Если не уверены, нажмите ENTER [1,3] |
Просто нажимаем ENTER для выполнения всех действий
Всё завершено, для выхода нажмите ENTER
на этом установка Ruby на Windows 10 закончена.
Как установить программу Ruby в Windows. Как запустить программу Ruby в Windows
Далее рассмотрим несколько примеров установки и использования программ на Ruby в Windows.
Восстановление сайтов c web.archive.org в Windows
Начнём с программы Wayback Machine Downloader, которая полностью восстанавливает сайты из веб архива.
Для установки Wayback Machine Downloader открыть командную строку: нажать сочетание клавиш Win-R, набрать cmd и нажать ENTER
и выполнить команду:
1 | gem install wayback_machine_downloader |
Проверяем, что все установилось норм вызвав справку командой:
241 files to download:
http://sem-okt.ru/ # websites/sem-okt.ru/
Папка websites у меня находится на компьютере в C:\Users\Lenovo — у Вас это :Этот компьютер> локальный диск (С:)> Пользователи> Имя пользователя>websites
Изначально сайт был на CMS WordPress, но с вебархива скачиваются страницы в html…… дальше играйтесь и экспериментируйте, устанавливайте WordPress и создавайте рубрики и посты на основе скачанных страниц.
Есть еще вариант как скачать сайт с web.archive.org на определенную дату:
на web.archive.org вбиваем адрес нужного сайта и жмем ENTER
В открывшемся календаре выбираем 2 даты- начало и конец поиска.
Копируем адрес ссылки: нас интересует то, что я выделил красным:
Начало поиска https://web.archive.org/web/20190111095844/sem-okt.ru
Конец поиска https://web.archive.org/web/20191218190747/sem-okt.ru
Запустим в командной строке Windows команду, которая выглядит вот так:
1 | wayback_machine_downloader -f20190111095844 -t20191218190747 sem-okt.ru |
Таким образом мы скачаем архив с 11/01/2019 по 18/12/2019. Файлы сайта будут сохранены в папке пользователя на диске C: «websites/sem-okt.ru». Теперь остается открыть файлы в браузере и радоваться результату.
Хорошая статья, долго мучился с руби, пока не нашел этот материал
Добрый день!
Скачал сайт подобным образом.
При открытии скачанного файла HTML, с подключенным интернетом, файлы… информация открывается целиком. При отключенном интернете, открывается только текстовая часть, картинки не открываются / не отображаются.
В чем может быть причина?! И как это исправить?!
П.С. Смысл скачивания сайта целиком был в том чтобы — Если сайт закроется когда-либо… автор сайта прекратит поддержку сайта, то можно будет открыть скачанный файл целиком на стационарном компьютере (в т.ч. и без интернета) и просматривать информацию целиком.
Заранее спасибо.
Огромная благодарность!