https://github.com/saintbyte/carrier-analyzer

Habr carrier analyzer
https://github.com/saintbyte/carrier-analyzer

heroku

Last synced: 4 months ago
JSON representation

Habr carrier analyzer

• Host: GitHub
• URL: https://github.com/saintbyte/carrier-analyzer
• Owner: saintbyte
• Created: 2021-07-20T15:32:11.000Z (almost 5 years ago)
• Default Branch: master
• Last Pushed: 2025-12-05T21:47:57.000Z (5 months ago)
• Last Synced: 2025-12-09T11:30:08.078Z (5 months ago)
• Topics: heroku
• Language: Python
• Homepage:
• Size: 83 KB
• Stars: 2
• Watchers: 1
• Forks: 1
• Open Issues: 13
• Metadata Files:
  • Readme: README.md
  • Funding: .github/FUNDING.yml

Awesome Lists containing this project

README

          
# Habr Carrier parser

Простая тулза для сбора вакансий из RSS ленты хабр карьеры. Все аккуратно собирается в базу для последующего анализа. Выполнено в виде микросервиса с возможность развертывания на бесплатном уровне в heroku.Предусмотрено так же создание дампа данных для того чтоб можно было забрать в другое место.

### Для локальной разработки достаточно:

1. поставить пакеты из requirements-dev.txt  -- pip install -r requirements-dev.txt

2. авторизоваться в heroku-cli и выбрать проект

3. Настроить postgres, redis на heroku

4. Запустить ./run_from_local_migrations_on_heroku.bash чтоб прошли миграции для БД

5. запустить что вам требуется из баш скриптов run_local*

### Для развертывания на heroku:

1. Жмакнуть по кнопке

[![Deploy](https://www.herokucdn.com/deploy/button.svg)](https://heroku.com/deploy)

2. Подцепить сервис Postgres и redis

3. Засунуть в настройка переменных среды параметр ACCESS_MAGIC_KEY в котором указать случайные значения. Это пригодиться если захочется выгружать дампы.

4. Указать в переменных среды RSS_URL адрес откуда тянуть данные

https://career.habr.com/vacancies/rss?page=1&per_page=25&q=Ruby

5. Запустить ./run_from_local_migrations_on_heroku.bash чтоб прошли миграции для БД

6. Прописать в heroku cron : cd src/ && python3 parser_hc.py

7. Enjoy

### quality

[![SonarCloud](https://sonarcloud.io/images/project_badges/sonarcloud-black.svg)](https://sonarcloud.io/dashboard?id=saintbyte_carrier-analyzer)

[![Bugs](https://sonarcloud.io/api/project_badges/measure?project=saintbyte_carrier-analyzer&metric=bugs)](https://sonarcloud.io/dashboard?id=saintbyte_carrier-analyzer)

[![Code Smells](https://sonarcloud.io/api/project_badges/measure?project=saintbyte_carrier-analyzer&metric=code_smells)](https://sonarcloud.io/dashboard?id=saintbyte_carrier-analyzer)

[![Technical Debt](https://sonarcloud.io/api/project_badges/measure?project=saintbyte_carrier-analyzer&metric=sqale_index)](https://sonarcloud.io/dashboard?id=saintbyte_carrier-analyzer)

[![Vulnerabilities](https://sonarcloud.io/api/project_badges/measure?project=saintbyte_carrier-analyzer&metric=vulnerabilities)](https://sonarcloud.io/dashboard?id=saintbyte_carrier-analyzer)

[![Security Rating](https://sonarcloud.io/api/project_badges/measure?project=saintbyte_carrier-analyzer&metric=security_rating)](https://sonarcloud.io/dashboard?id=saintbyte_carrier-analyzer)