Русскоязычное программирование

Информация о пользователе

Привет, Гость! Войдите или зарегистрируйтесь.


Вы здесь » Русскоязычное программирование » о форуме » К вопросу об архивации форумов


К вопросу об архивации форумов

Сообщений 1 страница 3 из 3

1

Помимо сохранения самых чудесных страниц в web.archive.org (и ещё нескольких подобных сервисах) можно сделать утилиту упаковки скачанного содержимого форума в .epub.
Закачать на какой-нибудь sourceforge и раздавать через rutracker.org. Это и публичность дополнительная, и хранить .epub-файлы многие наловчились (я пользуюсь программой Calibre, например)

Отредактировано Лис (2018-11-18 03:50:54)

0

2

Тут зарелизилась новая версия IPFS и теперь модно сайты бэкапить туда, а не только в web.archive.org

В отличие от .epub-файлов, такие статические копии сайтов можно рассматривать прямо в браузере

Отредактировано Лис (2018-11-18 01:39:12)

0

3

https://www.linux.org.ru/forum/general/15137253

формат WARC, используемый для хранения резервных копий веб-сайтов (к примеру, его использует Wayback Machine) и про софт для «записи» и «воспроизведения» веб-сайта. Для «воспроизведения» нашёл PyWB (ставится через pip), он поднимает локальный веб-сервер, на котором можно посмотреть сайты из WARC-файлов, входящих в коллекцию (коллекция собирается перед запуском сервера).

- Сайт «Webrecorder». Можно указать ссылку, дождаться загрузки содержимого, и скачать файл.
- Warcprox. Прокси-сервер, сохраняющий все посещённые страницы. Проблема в том, что HTTPS страницы сохраняются через MITM с сгенерированным сертификатом. Да и можно просто забыть посетить некоторые страницы. Годится для сохранения нескольких страниц.
- wget. Умеет сохранять в WARC. Удобно, а в Tails его можно даже через Tor пустить, чтобы иметь возможность сохранить заблокированный сайт. Но возникла проблема на сайте TV Tropes – на сохранённой странице не показывался контент «под катом», хотя при просмотре той же страницы на Wayback Machine всё работало (то есть дело, скорее всего, не в WARC). Можно ли как-то исправить эту проблему? Или поискать другой краулер?

0


Вы здесь » Русскоязычное программирование » о форуме » К вопросу об архивации форумов