{"id":16743512,"url":"https://github.com/vmussa/sdbase","last_synced_at":"2025-10-17T08:51:45.363Z","repository":{"id":69959185,"uuid":"314410649","full_name":"vmussa/sdbase","owner":"vmussa","description":"Scripts Básicos para Sociologia Digital","archived":false,"fork":false,"pushed_at":"2021-02-19T15:01:08.000Z","size":18,"stargazers_count":9,"open_issues_count":1,"forks_count":0,"subscribers_count":2,"default_branch":"master","last_synced_at":"2025-04-10T13:53:26.429Z","etag":null,"topics":["computational-social-science","computational-sociology","digital-humanities","digital-sociology","qualitative-analysis","qualitative-data-analysis","qualitative-research","web-scraper"],"latest_commit_sha":null,"homepage":"","language":"Python","has_issues":true,"has_wiki":null,"has_pages":null,"mirror_url":null,"source_name":null,"license":null,"status":null,"scm":"git","pull_requests_enabled":true,"icon_url":"https://github.com/vmussa.png","metadata":{"files":{"readme":"README.md","changelog":null,"contributing":null,"funding":null,"license":null,"code_of_conduct":null,"threat_model":null,"audit":null,"citation":null,"codeowners":null,"security":null,"support":null,"governance":null,"roadmap":null,"authors":null,"dei":null,"publiccode":null,"codemeta":null}},"created_at":"2020-11-20T01:10:08.000Z","updated_at":"2025-03-12T09:14:04.000Z","dependencies_parsed_at":"2023-02-23T16:00:46.983Z","dependency_job_id":null,"html_url":"https://github.com/vmussa/sdbase","commit_stats":null,"previous_names":[],"tags_count":0,"template":false,"template_full_name":null,"purl":"pkg:github/vmussa/sdbase","repository_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/vmussa%2Fsdbase","tags_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/vmussa%2Fsdbase/tags","releases_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/vmussa%2Fsdbase/releases","manifests_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/vmussa%2Fsdbase/manifests","owner_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners/vmussa","download_url":"https://codeload.github.com/vmussa/sdbase/tar.gz/refs/heads/master","sbom_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/vmussa%2Fsdbase/sbom","scorecard":null,"host":{"name":"GitHub","url":"https://github.com","kind":"github","repositories_count":271102980,"owners_count":24699638,"icon_url":"https://github.com/github.png","version":null,"created_at":"2022-05-30T11:31:42.601Z","updated_at":"2022-07-04T15:15:14.044Z","status":"online","status_checked_at":"2025-08-19T02:00:09.176Z","response_time":63,"last_error":null,"robots_txt_status":"success","robots_txt_updated_at":"2025-07-24T06:49:26.215Z","robots_txt_url":"https://github.com/robots.txt","online":true,"can_crawl_api":true,"host_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub","repositories_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories","repository_names_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repository_names","owners_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners"}},"keywords":["computational-social-science","computational-sociology","digital-humanities","digital-sociology","qualitative-analysis","qualitative-data-analysis","qualitative-research","web-scraper"],"created_at":"2024-10-13T01:27:17.597Z","updated_at":"2025-10-17T08:51:40.318Z","avatar_url":"https://github.com/vmussa.png","language":"Python","funding_links":[],"categories":[],"sub_categories":[],"readme":"# Scripts Básicos para Sociologia Digital (sdbase)\nEsse repositório guarda uma série de scripts básicos para o auxílio à pesquisa em Sociologia Digital. O objetivo dessa iniciativa é facilitar o acesso às técnicas computacionais a pesquisadores não familiarizados com essas técnicas, a iniciantes, assim como a usuários avançados que queiram construir técnicas mais complexas em cima das mais básicas aqui disponíveis. O foco do `sdbase` é o auxílio computacional à pesquisa qualitativa, mineração de texto para as humanidades e áreas relacionadas.\n\n## Raspador do Reddit para a Análise Qualitativa e Codificação: `rdqda`\nO `rdqda` é um módulo e script pythônico para a formatação e exportação de dados da rede social Reddit próprio para a análise qualitativa e a codificação. O formato de saída dos dados privilegia, portanto, a fidelidade à forma como os dados são exibidos na rede social, aproximando a prática da codificação à experiência da plataforma no browser. Recomendamos ao usuário que clone o repositório para usá-lo, tal como explicado abaixo, na seção de instalação. Para usuários mais avançados, basta adicionar o módulo ao `PYTHONPATH` e importá-lo em seu código.\n\n## Estruturação de dados textuais de conversas do WhatsApp\nPor enquanto, o módulo e script do WhatsApp oferece apenas a conversão para `csv` de dados de conversas em `txt` exportados diretamente pelo aplicativo. Veja abaixo instruções para o modo de uso.\n\n## Requisitos para a instalação\n* Python 3.8\n* pandas (biblioteca para manipulação de dados via DataFrames)\n* PRAW (biblioteca que facilita o acesso à API do Reddit)\n\nO arquivo `requirements.txt` contém todas essas informações, o que permite uma instalação fácil, como indicado na seção abaixo. \n\n## Instalação e modo de uso\nBasta clonar o repositório, criar um ambiente virtual, instalar as bibliotecas indicadas acima com o `pip` e rodar os scripts com o Python, como no exemplo abaixo:\n```\ncd diretorio-de-instalacao \ngit clone https://github.com/vmussa/sdbase.git\ncd sdbase\npython -m venv .venv\nsource .venv/bin/activate\npip install -r requirements.txt\n```\nPara o usar módulo do Reddit:\n```\npython reddit\\submissions_para_txt.py\n```\nPara o usar módulo do WhatsApp:\n```\npython whatsapp\\conversas_para_csv.py\n```\n\n## Agradecimentos\nEsse repositório está sendo desenvolvido no contexto de uma pesquisa de mestrado financiada pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) realizada no Programa de Pós-Graduação em Sociologia e Antropologia (PPGSA) da Universidade Federal do Rio de Janeiro (UFRJ). O desenvolvimento desse pacote deve muito ao apoio dessas instituições.\n","project_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fvmussa%2Fsdbase","html_url":"https://awesome.ecosyste.ms/projects/github.com%2Fvmussa%2Fsdbase","lists_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fvmussa%2Fsdbase/lists"}