https://github.com/geniuszly/GenWebDownloader
is a Node.js application designed to download entire websites and their resources for offline viewing. It utilizes Puppeteer for browser automation and Axios for resource fetching, ensuring a complete and efficient download process.
https://github.com/geniuszly/GenWebDownloader
automation cybersecurity ethical-hacking file-download file-transfer genwebdownloader http network-security network-tools nodejs penetration-testing python web web-downloader website website-downloader
Last synced: 9 months ago
JSON representation
is a Node.js application designed to download entire websites and their resources for offline viewing. It utilizes Puppeteer for browser automation and Axios for resource fetching, ensuring a complete and efficient download process.
- Host: GitHub
- URL: https://github.com/geniuszly/GenWebDownloader
- Owner: geniuszly
- License: mit
- Created: 2024-08-11T03:58:32.000Z (over 1 year ago)
- Default Branch: main
- Last Pushed: 2024-08-11T03:59:20.000Z (over 1 year ago)
- Last Synced: 2025-04-06T18:50:30.395Z (10 months ago)
- Topics: automation, cybersecurity, ethical-hacking, file-download, file-transfer, genwebdownloader, http, network-security, network-tools, nodejs, penetration-testing, python, web, web-downloader, website, website-downloader
- Language: JavaScript
- Homepage:
- Size: 5.86 KB
- Stars: 5
- Watchers: 1
- Forks: 0
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
- License: LICENSE
Awesome Lists containing this project
README
# GenWebDownloader
is a Node.js-based tool designed for downloading entire websites, including HTML, CSS, JavaScript, images, and other resources. This utility is particularly useful for creating local copies of websites for offline access or analysis.
# EN
**GenWebDownloader** is a Node.js-based tool designed for downloading entire websites, including HTML, CSS, JavaScript, images, and other resources. This utility is particularly useful for creating local copies of websites for offline access or analysis.
## Features
- **Complete Website Download**: Downloads HTML, CSS, JavaScript, images, and other resources.
- **Dynamic Content Support**: Uses Puppeteer to render and download content generated by JavaScript.
- **Resource Handling**: Correctly handles resources from different domains.
- **Error Handling**: Logs errors for resources that fail to download.
## Installation
To use GenWebDownloader, you need to have `Node.js` installed on your machine. Then, install the required dependencies:
```bash
npm install axios cheerio puppeteer
```
## Usage
To download a website, run the following command in your terminal, replacing `http://example.com` with the URL of the website you wish to download:
```bash
node GenWebDownloader.js http://example.com
```
## Example
```bash
node GenWebDownloader.js https://example.com
```
The website's contents will be saved in a folder named after the domain, located in the same directory as the script.
# RU
**GenWebDownloader** — это инструмент на основе Node.js, предназначенный для скачивания целых веб-сайтов, включая HTML, CSS, JavaScript, изображения и другие ресурсы. Это приложение особенно полезно для создания локальных копий сайтов для офлайн-доступа или анализа.
## Особенности
- **Полная загрузка сайта**: Скачивает HTML, CSS, JavaScript, изображения и другие ресурсы.
- **Поддержка динамического контента**: Использует Puppeteer для рендеринга и скачивания контента, создаваемого JavaScript.
- **Обработка ресурсов**: Корректно обрабатывает ресурсы с разных доменов.
- **Обработка ошибок**: Логирует ошибки для ресурсов, которые не удалось скачать.
## Установка
Для использования GenWebDownloader необходимо иметь установленный `Node.js`. Затем установите необходимые зависимости:
```bash
npm install axios cheerio puppeteer
```
## Использование
Чтобы скачать сайт, выполните следующую команду в терминале, заменив `http://example.com` на URL сайта, который вы хотите скачать:
```bash
node GenWebDownloader.js http://example.com
```
## Пример
```bash
node GenWebDownloader.js http://example.com
```
Содержимое сайта будет сохранено в папке с именем домена, расположенной в той же директории, что и скрипт.
