{"id":31635095,"url":"https://github.com/rodrigo-kelven/script-install-spark","last_synced_at":"2026-05-14T23:14:35.958Z","repository":{"id":315447898,"uuid":"1059527035","full_name":"Rodrigo-Kelven/Script-Install-Spark","owner":"Rodrigo-Kelven","description":"Este script realiza a instalação automática do Apache Spark 4.0.1 com Hadoop 3, juntamente com a instalação ou atualização do Java 17, se necessário. O objetivo é garantir que o Spark e o Java estejam corretamente configurados para a execução de tarefas distribuídas e interativas.","archived":false,"fork":false,"pushed_at":"2025-09-18T17:23:38.000Z","size":10,"stargazers_count":0,"open_issues_count":0,"forks_count":0,"subscribers_count":0,"default_branch":"main","last_synced_at":"2025-09-18T18:34:38.783Z","etag":null,"topics":["install-script","script","spark"],"latest_commit_sha":null,"homepage":"","language":"Shell","has_issues":true,"has_wiki":null,"has_pages":null,"mirror_url":null,"source_name":null,"license":null,"status":null,"scm":"git","pull_requests_enabled":true,"icon_url":"https://github.com/Rodrigo-Kelven.png","metadata":{"files":{"readme":"README.md","changelog":null,"contributing":null,"funding":null,"license":null,"code_of_conduct":null,"threat_model":null,"audit":null,"citation":null,"codeowners":null,"security":null,"support":null,"governance":null,"roadmap":null,"authors":null,"dei":null,"publiccode":null,"codemeta":null,"zenodo":null,"notice":null,"maintainers":null,"copyright":null,"agents":null,"dco":null,"cla":null}},"created_at":"2025-09-18T15:04:54.000Z","updated_at":"2025-09-18T17:23:41.000Z","dependencies_parsed_at":"2025-09-18T18:34:40.768Z","dependency_job_id":"8d80efc2-753e-411d-8a97-5ada7246cc40","html_url":"https://github.com/Rodrigo-Kelven/Script-Install-Spark","commit_stats":null,"previous_names":["rodrigo-kelven/script-install-spark"],"tags_count":null,"template":false,"template_full_name":null,"purl":"pkg:github/Rodrigo-Kelven/Script-Install-Spark","repository_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/Rodrigo-Kelven%2FScript-Install-Spark","tags_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/Rodrigo-Kelven%2FScript-Install-Spark/tags","releases_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/Rodrigo-Kelven%2FScript-Install-Spark/releases","manifests_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/Rodrigo-Kelven%2FScript-Install-Spark/manifests","owner_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners/Rodrigo-Kelven","download_url":"https://codeload.github.com/Rodrigo-Kelven/Script-Install-Spark/tar.gz/refs/heads/main","sbom_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/Rodrigo-Kelven%2FScript-Install-Spark/sbom","scorecard":null,"host":{"name":"GitHub","url":"https://github.com","kind":"github","repositories_count":278703581,"owners_count":26031205,"icon_url":"https://github.com/github.png","version":null,"created_at":"2022-05-30T11:31:42.601Z","updated_at":"2022-07-04T15:15:14.044Z","status":"online","status_checked_at":"2025-10-06T02:00:05.630Z","response_time":65,"last_error":null,"robots_txt_status":"success","robots_txt_updated_at":"2025-07-24T06:49:26.215Z","robots_txt_url":"https://github.com/robots.txt","online":true,"can_crawl_api":true,"host_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub","repositories_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories","repository_names_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repository_names","owners_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners"}},"keywords":["install-script","script","spark"],"created_at":"2025-10-07T00:48:11.556Z","updated_at":"2025-10-07T00:48:14.390Z","avatar_url":"https://github.com/Rodrigo-Kelven.png","language":"Shell","funding_links":[],"categories":[],"sub_categories":[],"readme":"## Instalação Automática do Apache Spark com Java 17\n\n![Apache Spark](https://img.shields.io/badge/Apache%20Spark-FDEE21?style=flat-square\u0026logo=apachespark\u0026logoColor=black)\n![Java](https://img.shields.io/badge/java-%23ED8B00.svg?style=for-the-badge\u0026logo=openjdk\u0026logoColor=white)\n\n#### Este script realiza a instalação automática do Apache Spark 4.0.1 com Hadoop 3, juntamente com a instalação ou atualização do Java 17, se necessário. O objetivo é garantir que o Spark e o Java estejam corretamente configurados para a execução de tarefas distribuídas e interativas.\n\n## Requisitos\n\n- #### Sistema Operacional: Ubuntu (ou outras distribuições baseadas no Debian).\n\n- #### Permissões: O script precisa de permissões de root para instalar pacotes e modificar variáveis de ambiente.\n\n## Funcionalidade do Script\n\n- ### 1. Verificação da versão do Java:\n\n    - #### O script começa verificando se o Java já está instalado no sistema e qual a versão.\n\n    - #### Se o Java 17 não estiver instalado ou se a versão instalada for Java 11 ou inferior, o script irá atualizar para Java 17.\n\n- ### 2. Instalação do Java:\n\n    - #### Caso o Java 17 não esteja instalado, o script realiza a instalação automática do OpenJDK 17.\n\n    - #### As variáveis de ambiente para o Java (JAVA_HOME e PATH) são configuradas corretamente, tanto no sistema como no arquivo de configuração (.bashrc).\n\n- ### 3. Instalação do Apache Spark:\n\n    - #### O script faz o download do Apache Spark versão 4.0.1 com suporte ao Hadoop 3 diretamente do repositório oficial do Apache.\n\n    - #### Após o download, o Spark é extraído na pasta /opt/spark.\n\n- ### 4. Configuração do Spark:\n\n    - #### O script configura as variáveis de ambiente do Spark (SPARK_HOME e PATH) para garantir que o Spark possa ser executado globalmente a partir de qualquer terminal.\n\n- ### 5. Testes pós-instalação:\n\n    - #### O script tenta rodar o comando spark-shell para verificar se a instalação foi bem-sucedida e se o Spark está funcionando corretamente.\n\n---\n## Instruções de Uso\n- ### 1. Baixe o Script\n\n#### Primeiro, baixe ou crie o arquivo install_spark_automatic.sh com o conteúdo fornecido no repositório.\n         git clone https://github.com/Rodrigo-Kelven/Script-Install-Spark\n\n#### 2. Dê Permissão para Executar o Script\n        chmod +x install_spark_automatic.sh\n\n#### 3. Execute o Script\n        ./install_spark_automatic.sh\n\n### Exemplo de Saída Esperada\n\n#### Durante a execução do script, você verá mensagens de log semelhantes a estas:\n            === Atualizando o sistema ===\n            ...\n            === Instalando OpenJDK 17 ===\n            ...\n            === Baixando Apache Spark 4.0.1 com Hadoop 3 ===\n            ...\n            === Verificando instalação do Spark ===\n            /opt/spark/spark-4.0.1-bin-hadoop3/bin/spark-shell\n            === Testando spark-shell ===\n            ===== Spark 4.0.1 instalado e funcionando! =====\n\n**Se tudo ocorrer corretamente, a instalação do Apache Spark será concluída com sucesso e o spark-shell estará funcionando.**\n\n### Execute o spark Shell:\n          spark-shell\n\n## O que é o Apache Spark?\n\nO Apache Spark é uma plataforma de processamento distribuído de dados em grande escala. Ele é projetado para ser rápido e fácil de usar, permitindo que você processe grandes volumes de dados de maneira eficiente. O Spark oferece uma interface de programação que suporta consultas SQL, aprendizado de máquina, processamento de dados em tempo real e processamento em lote, entre outros.\n\n## Sobre o Java 17\n\nA versão Java 17 é uma versão LTS (Long Term Support) que garante estabilidade e segurança para aplicações de longo prazo. O Apache Spark 4.0.1 requer Java 17 para funcionar corretamente, pois foi compilado com essa versão do JDK. Este script garante que a versão correta do Java seja instalada e configurada.\n\n---\n\n## Problemas Comuns e Soluções\n### Erro: \"command not found: spark-shell\"\n\n- #### Isso pode ocorrer se as variáveis de ambiente não estiverem corretamente configuradas. Execute o comando source ~/.bashrc para garantir que as variáveis sejam recarregadas.\n\n- #### Verifique também se o diretório do Spark está no PATH com echo $PATH.\n\n### Erro de versão do Java incompatível\n\n- #### Se o erro persiste, verifique se o JAVA_HOME está apontando para a versão correta do Java com o comando echo $JAVA_HOME.\n\n- #### Tente rodar o comando spark-shell com a variável JAVA_HOME explícita, por exemplo:\n            JAVA_HOME=/usr/lib/jvm/java-17-openjdk-amd64 spark-shell\n\n\n### Instalação do Java falhou\n\n- #### Certifique-se de que seu sistema está atualizado (apt update).\n\n- #### Se necessário, reinstale o OpenJDK 17 com sudo apt install --reinstall openjdk-17-jdk.\n\n\n## Conclusão\n\n**Este script permite que você instale e configure o Apache Spark 4.0.1 de forma simples e rápida, garantindo que o ambiente Java esteja corretamente configurado. É recomendado para quem deseja começar a usar o Spark sem se preocupar com as configurações manuais do Java e do Spark.**\n\n**Se tiver problemas ou dúvidas, consulte a documentação do Apache Spark ou entre em contato para assistência adicional.**\n","project_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Frodrigo-kelven%2Fscript-install-spark","html_url":"https://awesome.ecosyste.ms/projects/github.com%2Frodrigo-kelven%2Fscript-install-spark","lists_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Frodrigo-kelven%2Fscript-install-spark/lists"}