{"id":15165761,"url":"https://github.com/renatoelho/llama-cpp-local","last_synced_at":"2026-02-15T01:05:31.337Z","repository":{"id":240632123,"uuid":"803134339","full_name":"Renatoelho/llama-cpp-local","owner":"Renatoelho","description":"Llama.cpp é uma biblioteca desenvolvida em C++ para a implementação eficiente de grandes modelos de linguagem, como o LLaMA da Meta. Otimizada para rodar em diversas plataformas, incluindo dispositivos com recursos limitados, oferece performance, velocidade de inferência e uso eficiente da memória, essenciais para a execução de grandes. modelos","archived":false,"fork":false,"pushed_at":"2024-06-02T13:58:25.000Z","size":231,"stargazers_count":2,"open_issues_count":0,"forks_count":1,"subscribers_count":1,"default_branch":"main","last_synced_at":"2025-04-08T09:43:17.492Z","etag":null,"topics":["ia","llama-cpp-python","llama2","llama3","llms","python","shell-script"],"latest_commit_sha":null,"homepage":"https://renato.tec.br/","language":"Python","has_issues":true,"has_wiki":null,"has_pages":null,"mirror_url":null,"source_name":null,"license":"mit","status":null,"scm":"git","pull_requests_enabled":true,"icon_url":"https://github.com/Renatoelho.png","metadata":{"files":{"readme":"README.md","changelog":null,"contributing":null,"funding":null,"license":"LICENSE","code_of_conduct":null,"threat_model":null,"audit":null,"citation":null,"codeowners":null,"security":null,"support":null,"governance":null,"roadmap":null,"authors":null,"dei":null,"publiccode":null,"codemeta":null}},"created_at":"2024-05-20T06:16:36.000Z","updated_at":"2025-03-27T02:36:48.000Z","dependencies_parsed_at":"2024-05-20T08:42:37.391Z","dependency_job_id":"21055171-f64c-4b37-a7b6-c1e83cbb1e2a","html_url":"https://github.com/Renatoelho/llama-cpp-local","commit_stats":{"total_commits":8,"total_committers":1,"mean_commits":8.0,"dds":0.0,"last_synced_commit":"cb92576c3487f06aa8627ac010e5a5f883b36619"},"previous_names":["renatoelho/llama-cpp-local"],"tags_count":0,"template":false,"template_full_name":null,"repository_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/Renatoelho%2Fllama-cpp-local","tags_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/Renatoelho%2Fllama-cpp-local/tags","releases_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/Renatoelho%2Fllama-cpp-local/releases","manifests_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/Renatoelho%2Fllama-cpp-local/manifests","owner_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners/Renatoelho","download_url":"https://codeload.github.com/Renatoelho/llama-cpp-local/tar.gz/refs/heads/main","host":{"name":"GitHub","url":"https://github.com","kind":"github","repositories_count":247867365,"owners_count":21009240,"icon_url":"https://github.com/github.png","version":null,"created_at":"2022-05-30T11:31:42.601Z","updated_at":"2022-07-04T15:15:14.044Z","host_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub","repositories_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories","repository_names_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repository_names","owners_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners"}},"keywords":["ia","llama-cpp-python","llama2","llama3","llms","python","shell-script"],"created_at":"2024-09-27T04:01:41.893Z","updated_at":"2026-02-15T01:05:31.319Z","avatar_url":"https://github.com/Renatoelho.png","language":"Python","funding_links":[],"categories":[],"sub_categories":[],"readme":"# IA: Configurando e Executando o Llama C++ Localmente de Forma Simples \n\nLlama.cpp é uma biblioteca desenvolvida em **C++** para a implementação eficiente de grandes modelos de linguagem, como o **LLaMA da Meta**. Otimizada para rodar em diversas plataformas, incluindo dispositivos com **recursos limitados**, oferece performance, velocidade de inferência e uso eficiente da memória, essenciais para a execução de modelos de grande porte. Além disso, sua portabilidade permite que desenvolvedores e pesquisadores a utilizem em diferentes sistemas operacionais e hardwares, sendo ideal para quem deseja implementar e **experimentar modelos** de linguagem em suas próprias infraestruturas, sem depender de serviços em nuvem. Isso possibilita **maior controle** sobre dados e modelos. Llama.cpp pode ser utilizada por várias outras linguagens, como **Python**, Java, Rust, Go e outras, permitindo experimentações e ajustes em um ambiente controlado, com maior segurança e personalização nas soluções baseadas em **IA**.\n\n\u003c!-- https://www.youtube.com/@renato-coelho--\u003e\n\n# Apresentação em vídeo\n\n\u003cp align=\"center\"\u003e\n  \u003ca href=\"https://youtu.be/fxnXbaVNCkw\" target=\"_blank\"\u003e\u003cimg src=\"thumbnail/llama-cpp_Youtube.png\" alt=\"Vídeo de apresentação\"\u003e\u003c/a\u003e\n\u003c/p\u003e\n\n\n### Requisitos\n\n+ ![Git](https://img.shields.io/badge/Git-2.25.1%2B-E3E3E3)\n\n+ ![Ubuntu](https://img.shields.io/badge/Ubuntu-20.04%2B-E3E3E3)\n\n+ ![Python](https://img.shields.io/badge/Python-3.8%2B-E3E3E3)\n\n\n## Deploy da aplicação\n\n\n### Clonando o repositório\n\n```bash\ngit clone https://github.com/Renatoelho/llama-cpp-local.git llama-cpp-local\n```\n\n\n### Preparando o ambiente\n\n+ Instalando as dependências do sistema operacional\n```bash\nsudo apt install wget python3-pip python3-dev python3-venv gcc g++ make jq -y\n```\n\n+ Acessando o diretório clonado\n```bash\ncd llama-cpp-local/\n```\n\n+ Criando o ambiente virtual\n```bash\npython3 -m venv .venv\n```\n\n+ Ativando o ambiente virtual\n```bash\nsource .venv/bin/activate\n```\n\n+ Instalando as dependências da aplicação\n```bash\npip install -U pip setuptools wheel \u0026\u0026 pip install -r requirements.txt --no-cache-dir --verbose --force-reinstall\n```\n\n\n### Baixando o modelo\n\n```bash\nsh scripts/download_model.sh\n```\n\n\u003e\u003e ***Obs.:*** talvez seja necessário adicionar as permissões de execução aos scripts com o comando: ```chmod +x scripts/download_model.sh``` e/ou ```chmod +x scripts/up_model.sh```.\n\n### Ativando aplicação\n\n+ Acessando como root\n\n```bash\nsudo su\n```\n\n\u003e\u003e ***Obs.:*** talvez seja necessário reativar o ambiente virtual para usuário ```root```, use o comando: ```source .venv/bin/activate```.\n\n```bash\nsh scripts/up_model.sh\n```\n\n\u003e\u003e ***Obs.:*** pode ocorrer um erro de limitação de memória, para resolver isso utilize de forma temporária o comando: ```ulimit -l unlimited``` no terminal.\n\n\u003e\u003e ***Obs 2.:*** esse script vai bloquear o terminal, então utilize outro para fazer as requests ao endpoint do modelo.\n\n\n### Documentação do endpoint\n\nUtilize o endpoint [http://localhost:8000/docs](http://localhost:8000/docs) para entender os recursos disponíveis pelo modelo.\n\n\n### Testando aplicação\n\n+ Perguntando ao modelo (abra outro terminal)\n\n```bash\ncd ../../llama-cpp-local/\n```\n\n```bash\nsource .venv/bin/activate\n```\n\n```bash\npython3 ./question_model.py\n```\n\n\n# Referências\n\nGeorgi Gerganov, **Github.** Disponível em: \u003chttps://github.com/ggerganov/llama.cpp\u003e. Acesso em: 17 mai. 2024.\n\nAndrei abetlen, **Github.** Disponível em: \u003chttps://github.com/abetlen/llama-cpp-python\u003e. Acesso em: 17 mai. 2024.\n\nllama-cpp-python 0.2.75, **pypi.org.** Disponível em: \u003chttps://pypi.org/project/llama-cpp-python/\u003e. Acesso em: 17 mai. 2024.\n\nTom Jobbins, **huggingface.co.** Disponível em: \u003chttps://huggingface.co/TheBloke\u003e. Acesso em: 19 mai. 2024.\n","project_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Frenatoelho%2Fllama-cpp-local","html_url":"https://awesome.ecosyste.ms/projects/github.com%2Frenatoelho%2Fllama-cpp-local","lists_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Frenatoelho%2Fllama-cpp-local/lists"}