{"id":20874575,"url":"https://github.com/vildan-valeev/apache_log_parser_service","last_synced_at":"2026-05-04T23:39:10.120Z","repository":{"id":130376699,"uuid":"478424261","full_name":"vildan-valeev/apache_log_parser_service","owner":"vildan-valeev","description":"Microservice for parse apache logs","archived":false,"fork":false,"pushed_at":"2022-05-02T12:53:17.000Z","size":168,"stargazers_count":0,"open_issues_count":0,"forks_count":1,"subscribers_count":1,"default_branch":"master","last_synced_at":"2025-01-19T09:09:45.796Z","etag":null,"topics":["django","django-rest-framework","dramatiq","ofelia","postgresql"],"latest_commit_sha":null,"homepage":"","language":"Python","has_issues":true,"has_wiki":null,"has_pages":null,"mirror_url":null,"source_name":null,"license":null,"status":null,"scm":"git","pull_requests_enabled":true,"icon_url":"https://github.com/vildan-valeev.png","metadata":{"files":{"readme":"README.md","changelog":null,"contributing":null,"funding":null,"license":null,"code_of_conduct":null,"threat_model":null,"audit":null,"citation":null,"codeowners":null,"security":null,"support":null,"governance":null,"roadmap":null,"authors":null,"dei":null,"publiccode":null,"codemeta":null}},"created_at":"2022-04-06T06:03:06.000Z","updated_at":"2022-04-20T08:00:44.000Z","dependencies_parsed_at":"2024-02-23T03:31:06.021Z","dependency_job_id":null,"html_url":"https://github.com/vildan-valeev/apache_log_parser_service","commit_stats":null,"previous_names":[],"tags_count":0,"template":false,"template_full_name":null,"repository_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/vildan-valeev%2Fapache_log_parser_service","tags_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/vildan-valeev%2Fapache_log_parser_service/tags","releases_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/vildan-valeev%2Fapache_log_parser_service/releases","manifests_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/vildan-valeev%2Fapache_log_parser_service/manifests","owner_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners/vildan-valeev","download_url":"https://codeload.github.com/vildan-valeev/apache_log_parser_service/tar.gz/refs/heads/master","host":{"name":"GitHub","url":"https://github.com","kind":"github","repositories_count":243248285,"owners_count":20260752,"icon_url":"https://github.com/github.png","version":null,"created_at":"2022-05-30T11:31:42.601Z","updated_at":"2022-07-04T15:15:14.044Z","host_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub","repositories_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories","repository_names_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repository_names","owners_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners"}},"keywords":["django","django-rest-framework","dramatiq","ofelia","postgresql"],"created_at":"2024-11-18T06:34:51.038Z","updated_at":"2026-05-04T23:39:10.066Z","avatar_url":"https://github.com/vildan-valeev.png","language":"Python","funding_links":[],"categories":[],"sub_categories":[],"readme":"## Apache log parser\nПриложение, которое является агрегатором данных из access логов apache \nс сохранением в БД. Разбор файлов выполняется по cron'у.\n\nВ приложении реализованы функции:\n- авторизация (пользователи в БД)\n- просмотр данных сохраненных в БД (группировка по IP, по дате, выборка по промежутку дат)\n- API для получения данных в виде JSON (смысл тот же: получение данных по временному промежутку, возможность \nгруппировать/фильтровать по IP)\n- конфигурация через файл настроек (где лежат логи, маска файлов, и все, что Вам потребуется для настройки приложения)\nСУБД: mysql/postgresql\n\n# Запуск\n0. добавить LOG_PATH в .env.dev\n1. запуск\n```sh\n$ docker-compose -f docker-compose.dev.yml up --build\n```\n\n2. закидываем дефолтные данные, включая админа \n```sh\n$ docker exec -it app poetry run python manage.py loaddata default_data.json\n```\n3. админка логин - admin, пароль - 25658545\n`http://127.0.0.1:8000/api/swagger/` - документация API\n\n`http://127.0.0.1:8000/admin/` - админка\n\n# Пояснения\n1. Перед запуском необходимо настроить/изменить путь LOG_PATH в файле .env - указать директорию откуда будут браться \nфайлы логов для агрегатора по крону(по команде pwd можно определить путь и вставить). В локальной разработке путь до файлов может быть любой, в development, \nт.е. через docker из контейнера путь до файлов только через директорию logs к которой примонтирована директория из \nпеременных окружения LOG_PATH в docker-compose\n2. Если нет переменной LOG_PATH, то выставляется дефолтный путь - директория logs внутри проекта\nи ожидается что файлы будут там появляться.\n3. Периодичность проверки и обработки логов установлена по дефолту - в 1 час\n(для тестов 15 сек - надо раскомментировать в конфиге ofelia).\n4. Начал реализовывать функционал на сelery + celery-beat, но как выяснилось django-celery-beat отвалилась \nи не ставится на Django выше 4 версии. Можно было бы откатить версии и продолжить, но было принято решение \nсоздать новый велосипед :-))). \nПериодичность выполняется по кастомной команде, запускает ее шедулер [Ofelia](https://github.com/mcuadros/ofelia). \nДальнейшая обработка файлов передается в задачи Dramatiq\n\n\n# Database dump/load\n```shell\n$ docker exec -it app sh -c \"poetry run python manage.py dumpdata --natural-foreign --natural-primary --exclude=contenttypes --exclude=auth.Permission --exclude=admin.logentry --exclude=sessions.session --indent 4 \u003e default_data.json\"\ndocker exec -it app poetry run python manage.py loaddata default_data.json\n```\n## Enter to container\n```sh\n$ docker exec -it \u003cid container or name\u003e bash\n$ docker exec -it \u003cid container or name\u003e poetry run \u003ccommand\u003e\n```\n","project_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fvildan-valeev%2Fapache_log_parser_service","html_url":"https://awesome.ecosyste.ms/projects/github.com%2Fvildan-valeev%2Fapache_log_parser_service","lists_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fvildan-valeev%2Fapache_log_parser_service/lists"}