https://github.com/trbaldim/projeto-bigdata
Projeto de BigData Mestrado Mackenzie
https://github.com/trbaldim/projeto-bigdata
apache-cassandra apache-flink apache-kafka apache-spark python-2 twitter-bot
Last synced: 3 months ago
JSON representation
Projeto de BigData Mestrado Mackenzie
- Host: GitHub
- URL: https://github.com/trbaldim/projeto-bigdata
- Owner: TRBaldim
- License: mit
- Created: 2017-02-11T20:15:46.000Z (over 9 years ago)
- Default Branch: master
- Last Pushed: 2017-04-15T15:57:12.000Z (about 9 years ago)
- Last Synced: 2025-03-14T07:45:55.963Z (over 1 year ago)
- Topics: apache-cassandra, apache-flink, apache-kafka, apache-spark, python-2, twitter-bot
- Language: Python
- Size: 229 KB
- Stars: 0
- Watchers: 2
- Forks: 0
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
- License: LICENSE
Awesome Lists containing this project
README
# Projeto BigData Stricto Sensu
##Projeto de BigData Mestrado Mackenzie
#Problema a ser resolvido
Este projeto será focado em análise de dados em tempo real do Twitter.
Criaremos um crawler onde ele irá ser alimentado com determinados tipos de produtores de conteúdo como Exame, Estadão, Folha de São Paulo e ele irá procurar outros influenciadores que fazem a distribuição dos dados. Motaremos estatisticas e apresentaremos estruturas de grafos para análise de modelos de focos.
#Fonte de Dados
###Faremos um stack de desenvolvimento utilizando as seguintes ferramentas:
#Leitura de Dados
##Apache Flink
Apache Flink é uma ferramenta muito usada para Streamming em Real Time. Seu principio é Streaming First! Logo, para a interface de streaming será usado este tipo de solução para extrair dados do Twitter.
#Processamento de Dados
##Apache Spark
Apache Spark é uma Engine baseada no Map Reduce do Hadoop para processamento de grandes quantidades de dados em alta velocidade. Sua interface permite que parte dos dados sejam processados em memória, isso permite um ganho de processamento até 100x mais rápido que os processos do Hadoop
#Armazenamento intermediário de dados não estruturados
##Apache Kafka
Apache Kafka é uma ferramenta de Streaming distribuido. Permitindo rápido armazenamento de dados dentro do cluster, e permitindo rápido acesso aos dados vindos de vários tipos de interfaces, tanto apps quanto sotrages.
#Armazenamento do dado Semi estruturado e/ou Estruturado
##Apache Cassandra
Apache Cassandra permite alta escalabilidade e alta disponibilidade quando é necessário acesso aos seus dados. O cassandra permite tanto acesso a dados pontuais quanto massivos de forma performática.
#Visualização de Dados
A visualização de dados será desenvolvido vi python notebook, será desenvolvido um modelo em grafo para identificação de clusters. E em seus centros seriam identificados como influenciadores.