{"id":15056838,"url":"https://github.com/trbaldim/projeto-bigdata","last_synced_at":"2026-04-02T02:37:52.011Z","repository":{"id":126228128,"uuid":"81679449","full_name":"TRBaldim/Projeto-BigData","owner":"TRBaldim","description":"Projeto de BigData Mestrado Mackenzie","archived":false,"fork":false,"pushed_at":"2017-04-15T15:57:12.000Z","size":235,"stargazers_count":0,"open_issues_count":0,"forks_count":0,"subscribers_count":2,"default_branch":"master","last_synced_at":"2025-03-14T07:45:55.963Z","etag":null,"topics":["apache-cassandra","apache-flink","apache-kafka","apache-spark","python-2","twitter-bot"],"latest_commit_sha":null,"homepage":null,"language":"Python","has_issues":true,"has_wiki":null,"has_pages":null,"mirror_url":null,"source_name":null,"license":"mit","status":null,"scm":"git","pull_requests_enabled":true,"icon_url":"https://github.com/TRBaldim.png","metadata":{"files":{"readme":"README.md","changelog":null,"contributing":null,"funding":null,"license":"LICENSE","code_of_conduct":null,"threat_model":null,"audit":null,"citation":null,"codeowners":null,"security":null,"support":null,"governance":null,"roadmap":null,"authors":null,"dei":null,"publiccode":null,"codemeta":null}},"created_at":"2017-02-11T20:15:46.000Z","updated_at":"2019-08-29T20:06:38.000Z","dependencies_parsed_at":null,"dependency_job_id":"eb2a776d-b8ec-466d-8470-f6fbbb710a94","html_url":"https://github.com/TRBaldim/Projeto-BigData","commit_stats":{"total_commits":40,"total_committers":1,"mean_commits":40.0,"dds":0.0,"last_synced_commit":"1e9343c8e28bc7a638400614b360270dd6878a05"},"previous_names":[],"tags_count":0,"template":false,"template_full_name":null,"repository_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/TRBaldim%2FProjeto-BigData","tags_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/TRBaldim%2FProjeto-BigData/tags","releases_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/TRBaldim%2FProjeto-BigData/releases","manifests_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/TRBaldim%2FProjeto-BigData/manifests","owner_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners/TRBaldim","download_url":"https://codeload.github.com/TRBaldim/Projeto-BigData/tar.gz/refs/heads/master","host":{"name":"GitHub","url":"https://github.com","kind":"github","repositories_count":243544665,"owners_count":20308168,"icon_url":"https://github.com/github.png","version":null,"created_at":"2022-05-30T11:31:42.601Z","updated_at":"2022-07-04T15:15:14.044Z","host_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub","repositories_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories","repository_names_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repository_names","owners_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners"}},"keywords":["apache-cassandra","apache-flink","apache-kafka","apache-spark","python-2","twitter-bot"],"created_at":"2024-09-24T21:56:50.948Z","updated_at":"2025-12-29T13:03:43.406Z","avatar_url":"https://github.com/TRBaldim.png","language":"Python","funding_links":[],"categories":[],"sub_categories":[],"readme":"# Projeto BigData Stricto Sensu\n\n\u003cimg src=\"https://www3.mackenzie.com.br/template/img/header_full.png\"\u003e\n\n##Projeto de BigData Mestrado Mackenzie\n\n#Problema a ser resolvido\n\u003cp\u003e\n\tEste projeto será focado em análise de dados em tempo real do Twitter.\n\n\tCriaremos um crawler onde ele irá ser alimentado com determinados tipos de produtores de conteúdo como Exame, Estadão, Folha de São Paulo e ele irá procurar outros influenciadores que fazem a distribuição dos dados. Motaremos estatisticas e apresentaremos estruturas de grafos para análise de modelos de focos.\n\u003c/p\u003e\n\n#Fonte de Dados\n\u003cp align=\"center\"\u003e\n\t\t\u003cimg src=\"https://img.clipartfest.com/314d2458c4d5341f2cb7b3860e977fad_by-using-twitter-if-you-twitter-logo-clipart_320-260.png\"\u003e\n\u003c/p\u003e\n\n\n###Faremos um stack de desenvolvimento utilizando as seguintes ferramentas:\n\n#Leitura de Dados\n##Apache Flink\n\n\u003cp align=\"center\"\u003e\n\t\u003ca href=\"https://flink.apache.org/\"\u003e\n\t\t\u003cimg src=\"http://10minbasics.com/wp-content/uploads/2015/10/flink.png\"\u003e\n\t\u003c/a\u003e\n\u003c/p\u003e\n\nApache Flink é uma ferramenta muito usada para Streamming em Real Time. Seu principio é Streaming First! Logo, para a interface de streaming será usado este tipo de solução para extrair dados do Twitter.\n\n#Processamento de Dados\n##Apache Spark\n\n\u003cp align=\"center\"\u003e\n\t\u003ca href=\"http://spark.apache.org/\"\u003e\n\t\t\u003cimg src=\"http://spark.apache.org/images/spark-logo-trademark.png\"\u003e\n\t\u003c/a\u003e\n\u003c/p\u003e\n\nApache Spark é uma Engine baseada no Map Reduce do Hadoop para processamento de grandes quantidades de dados em alta velocidade. Sua interface permite que parte dos dados sejam processados em memória, isso permite um ganho de processamento até 100x mais rápido que os processos do Hadoop\n\n#Armazenamento intermediário de dados não estruturados\n##Apache Kafka\n\n\u003cp align=\"center\"\u003e\n\t\u003ca href=\"https://kafka.apache.org/\"\u003e\n\t\t\u003cimg src=\"https://softwareengineeringdaily.com/wp-content/uploads/2015/08/kafka-logo-wide.png\"\u003e\n\t\u003c/a\u003e\n\u003c/p\u003e\n\nApache Kafka é uma ferramenta de Streaming distribuido. Permitindo rápido armazenamento de dados dentro do cluster, e permitindo rápido acesso aos dados vindos de vários tipos de interfaces, tanto apps quanto sotrages.\n\n#Armazenamento do dado Semi estruturado e/ou Estruturado\n##Apache Cassandra\n\u003cp align=\"center\"\u003e\n\t\u003ca href=\"http://cassandra.apache.org/\"\u003e\n\t\t\u003cimg src=\"http://vignette1.wikia.nocookie.net/digitalhaunt/images/5/55/Screen_Shot_2013-06-07_at_18.20.42.png\"\u003e\n\t\u003c/a\u003e\n\u003c/p\u003e\n\nApache Cassandra permite alta escalabilidade e alta disponibilidade quando é necessário acesso aos seus dados. O cassandra permite tanto acesso a dados pontuais quanto massivos de forma performática.\n\n#Visualização de Dados\n\n\u003cp align=\"center\"\u003e\n\t\u003ca href=\"http://jupyter.org/\"\u003e\n\t\t\u003cimg src=\"http://www.i-programmer.info/images/stories/News/2015/Mar/A/jupyter.jpg\"\u003e\n\t\u003c/a\u003e\n\u003c/p\u003e\n\n\u003cp\u003e\n\tA visualização de dados será desenvolvido vi python notebook, será desenvolvido um modelo em grafo para identificação de clusters. E em seus centros seriam identificados como influenciadores.\n\u003c/p\u003e\n\n\n","project_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Ftrbaldim%2Fprojeto-bigdata","html_url":"https://awesome.ecosyste.ms/projects/github.com%2Ftrbaldim%2Fprojeto-bigdata","lists_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Ftrbaldim%2Fprojeto-bigdata/lists"}