https://github.com/kayyz1/aws-article-scraping

Serverless article web scraper with AWS
https://github.com/kayyz1/aws-article-scraping

api-gateway aws aws-lambda javascript react react-query typescript

Last synced: about 2 months ago
JSON representation

Serverless article web scraper with AWS

• Host: GitHub
• URL: https://github.com/kayyz1/aws-article-scraping
• Owner: kayYZ1
• Created: 2024-03-19T17:56:58.000Z (9 months ago)
• Default Branch: main
• Last Pushed: 2024-08-01T20:04:21.000Z (5 months ago)
• Last Synced: 2024-08-02T11:19:45.307Z (5 months ago)
• Topics: api-gateway, aws, aws-lambda, javascript, react, react-query, typescript
• Language: TypeScript
• Homepage: https://kayyz1.github.io/AWS-Article-Scraping/
• Size: 133 KB
• Stars: 0
• Watchers: 1
• Forks: 0
• Open Issues: 0
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

README

        
# Scraping app

Aplikacja składa się z dwóch modułów: client oraz serverless. W przypadku modułu klienta został użyty głównie React oraz Typescript, natomiast moduł serverless został zbudowany w języku Javascript za pomocą biblioteki Puppeteer oraz AWS Lamdbda.

Celem aplikacji jest zescrapowanie artykułów według podanej przez użytkownika frazy. Wykorzystane zostały do tego trzy serwisy informacyjne:

- https://www.forbes.pl/

- https://www.polityka.pl/

- https://wpolityce.pl/

Użytkownik może wybrać z których serwisów chce przeczytać artykuły wybierając odpowiednią pozycję w Website Options.

## Installation

```bash

cd client

```

```bash

npm install

```

```bash

npm run dev

```