https://github.com/DaveBben/esp32-llm

Running a LLM on the ESP32
https://github.com/DaveBben/esp32-llm

Last synced: 4 months ago
JSON representation

Running a LLM on the ESP32

• Host: GitHub
• URL: https://github.com/DaveBben/esp32-llm
• Owner: DaveBben
• Created: 2024-09-03T22:31:37.000Z (8 months ago)
• Default Branch: main
• Last Pushed: 2024-09-04T03:07:08.000Z (8 months ago)
• Last Synced: 2024-09-12T04:17:38.235Z (8 months ago)
• Language: C
• Homepage: https://www.youtube.com/watch?v=E6E_KrfyWFQ
• Size: 95.1 MB
• Stars: 87
• Watchers: 3
• Forks: 3
• Open Issues: 0

Awesome Lists containing this project

• StarryDivineSky - DaveBben/esp32-llm - S3FH4R2因为它有 2MB 的嵌入式 PSRAM。通过对 llama2.c 进行以下更改，我能够达到 19.13 tok/s：在数学运算中利用 ESP32 的两个内核。利用 ESP-DSP 库中专为 ESP32-S3 设计的一些特殊点积函数，这些功能利用了 ESP32-S3 为数不多的 SIMD 指令。将 CPU 速度提高到 240 MHz，将 PSRAM 速度提高到 80MHZ，并增加指令缓存大小。 (A01_文本生成_文本对话 / 大语言对话模型及数据)