{"id":19420421,"url":"https://github.com/egorumaev/2023-toxic-comments","last_synced_at":"2026-04-22T09:05:57.228Z","repository":{"id":271072976,"uuid":"696607329","full_name":"egorumaev/2023-toxic-comments","owner":"egorumaev","description":"Выявление токсичных комментариев в отзывах покупателей интернет-магазина","archived":false,"fork":false,"pushed_at":"2023-09-26T05:01:25.000Z","size":138,"stargazers_count":0,"open_issues_count":0,"forks_count":0,"subscribers_count":1,"default_branch":"main","last_synced_at":"2025-02-25T04:13:26.559Z","etag":null,"topics":["autocorrect","catboost","classification","collections","contractions","natural-language-processing","nlp","nltk","pandas","re","skleran"],"latest_commit_sha":null,"homepage":"","language":"Jupyter Notebook","has_issues":true,"has_wiki":null,"has_pages":null,"mirror_url":null,"source_name":null,"license":null,"status":null,"scm":"git","pull_requests_enabled":true,"icon_url":"https://github.com/egorumaev.png","metadata":{},"created_at":"2023-09-26T04:58:03.000Z","updated_at":"2023-12-22T03:55:57.000Z","dependencies_parsed_at":null,"dependency_job_id":"6fe7e61a-4a26-4e14-87d6-103f2db4cba4","html_url":"https://github.com/egorumaev/2023-toxic-comments","commit_stats":null,"previous_names":["egorumaev/2023-toxic-comments"],"tags_count":0,"template":false,"template_full_name":null,"purl":"pkg:github/egorumaev/2023-toxic-comments","repository_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/egorumaev%2F2023-toxic-comments","tags_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/egorumaev%2F2023-toxic-comments/tags","releases_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/egorumaev%2F2023-toxic-comments/releases","manifests_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/egorumaev%2F2023-toxic-comments/manifests","owner_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners/egorumaev","download_url":"https://codeload.github.com/egorumaev/2023-toxic-comments/tar.gz/refs/heads/main","sbom_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/egorumaev%2F2023-toxic-comments/sbom","scorecard":null,"host":{"name":"GitHub","url":"https://github.com","kind":"github","repositories_count":286080680,"owners_count":32128706,"icon_url":"https://github.com/github.png","version":null,"created_at":"2022-05-30T11:31:42.601Z","updated_at":"2026-04-22T08:34:57.708Z","status":"ssl_error","status_checked_at":"2026-04-22T08:34:55.583Z","response_time":58,"last_error":"SSL_read: unexpected eof while reading","robots_txt_status":"success","robots_txt_updated_at":"2025-07-24T06:49:26.215Z","robots_txt_url":"https://github.com/robots.txt","online":false,"can_crawl_api":true,"host_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub","repositories_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories","repository_names_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repository_names","owners_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners"}},"keywords":["autocorrect","catboost","classification","collections","contractions","natural-language-processing","nlp","nltk","pandas","re","skleran"],"created_at":"2024-11-10T13:23:15.262Z","updated_at":"2026-04-22T09:05:57.219Z","avatar_url":"https://github.com/egorumaev.png","language":"Jupyter Notebook","funding_links":[],"categories":[],"sub_categories":[],"readme":"# 2023-toxic-comments\nВыявление токсичных комментариев в отзывах покупателей интернет-магазина\n\n# **ПРОЕКТ «Выявление токсичных комментариев в отзывах покупателей интернет-магазина „Викишоп‟»**\n\n---\n\n## **Примененные библиотеки и технологии**\n\n* Pandas, Numpy, Matplotlib, Seaborn, Autocorrect, Contractions, Gc, Collections, Re, NLTK, Sklearn, Catboost\n\n* Pipeline, RandomizedSearchCV, TfidfVectorizer, CountVectorizer, ngram_range\n\n---\n\n## **Цель и задачи проекта**\n\nПосле внедрения нового сервиса в интернет-магазине «Викишоп» пользователи получили возможность редактировать и дополнять описания товаров, как в вики-сообществах. Пользователи могут предлагать свои правки в описание и комментировать изменения, внесенные другими пользователями. В связи с этим интернет-магазину необходим инструмент, который поможет выявлять вероятные токсичные комментарии и отправлять их на проверку модератору.\n\nПредварительно подготовлен набор данных с разметкой комментариев.\n\n**Цель проекта**: построить модель классификации комментариев пользователей на позитивные (1) и негативные (0).\n\n**Целевое ограничение, по которому оценивается результат выполнения проекта**: значение метрики качества **f1_score** лучшей модели на тестовой выборке должно быть **\u003e= 0.75**.\n\nДля достижения цели были поставлены и решены следующие **задачи**:\n\n * выполнена загрузка данных;\n\n * проведен исследовательский анализ данных;\n\n * обучены модели машинного обучения с разными гиперпараметрами;\n\n * лучшая модель проверена на тестовой выборке.\n\nРешаемая задача относится к категории задач **классификации**.\n\n---\n\n## **Основные результаты**\n\n**(1)** в результате многоступенчатой предобработки данных из исходного датасета удалено 56.86% информации, являющейся шумовой информацией.\n\n**(2)** проведено машинное обучение четырех моделей классификации:\n\n * LogisticRegression\n\n * CatBoostClassifier\n\n * DecisionTreeClassifier\n\n * LinearSVC\n\nДля выявления наилучшего результата кроме подбора гиперпараметров моделей было сделано две ветки обучения в зависимости от типа векторизации текста:\n\n * CountVectorizer()\n\n * TfidfVectorizer()\n\n**(3)** Лучшая из выявленных моделей LinearSVC на тестовой выборке показала значение метрики **f1** равное **0.792**, что полностью соответствует предъявленным требованиям.\n","project_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fegorumaev%2F2023-toxic-comments","html_url":"https://awesome.ecosyste.ms/projects/github.com%2Fegorumaev%2F2023-toxic-comments","lists_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fegorumaev%2F2023-toxic-comments/lists"}