Ecosyste.ms: Awesome
An open API service indexing awesome lists of open source software.
https://github.com/DaveBben/esp32-llm
Running a LLM on the ESP32
https://github.com/DaveBben/esp32-llm
Last synced: 12 days ago
JSON representation
Running a LLM on the ESP32
- Host: GitHub
- URL: https://github.com/DaveBben/esp32-llm
- Owner: DaveBben
- Created: 2024-09-03T22:31:37.000Z (4 months ago)
- Default Branch: main
- Last Pushed: 2024-09-04T03:07:08.000Z (4 months ago)
- Last Synced: 2024-09-12T04:17:38.235Z (4 months ago)
- Language: C
- Homepage: https://www.youtube.com/watch?v=E6E_KrfyWFQ
- Size: 95.1 MB
- Stars: 87
- Watchers: 3
- Forks: 3
- Open Issues: 0
Awesome Lists containing this project
- StarryDivineSky - DaveBben/esp32-llm - S3FH4R2因为它有 2MB 的嵌入式 PSRAM。通过对 llama2.c 进行以下更改，我能够达到 19.13 tok/s：在数学运算中利用 ESP32 的两个内核。利用 ESP-DSP 库中专为 ESP32-S3 设计的一些特殊点积函数，这些功能利用了 ESP32-S3 为数不多的 SIMD 指令。将 CPU 速度提高到 240 MHz，将 PSRAM 速度提高到 80MHZ，并增加指令缓存大小。 (A01_文本生成_文本对话 / 大语言对话模型及数据)