https://github.com/san279/object-detect-fomo-tft-esp32

This is intended for displaying camera feed and FOMO(object detection model) results to TFT for Esp32-S3
https://github.com/san279/object-detect-fomo-tft-esp32

esp32 esp32-arduino esp32-cam esp32-camera esp32-camera-tft esp32-object-detection esp32-s3 esp32-tft fomo fomo-object-detection object-detection st7789 st7789-display

Last synced: 4 months ago
JSON representation

This is intended for displaying camera feed and FOMO(object detection model) results to TFT for Esp32-S3

• Host: GitHub
• URL: https://github.com/san279/object-detect-fomo-tft-esp32
• Owner: San279
• Created: 2024-06-01T09:30:08.000Z (about 1 year ago)
• Default Branch: main
• Last Pushed: 2024-06-09T19:27:26.000Z (about 1 year ago)
• Last Synced: 2025-01-21T11:22:33.350Z (5 months ago)
• Topics: esp32, esp32-arduino, esp32-cam, esp32-camera, esp32-camera-tft, esp32-object-detection, esp32-s3, esp32-tft, fomo, fomo-object-detection, object-detection, st7789, st7789-display
• Language: C++
• Homepage:
• Size: 4.1 MB
• Stars: 1
• Watchers: 1
• Forks: 0
• Open Issues: 0
• Metadata Files:
  • Readme: README-th.md

Awesome Lists containing this project

README

        
## object-detect-FOMO-TFT-esp32

 [For English version](https://github.com/San279/object-detect-FOMO-TFT-Esp32)

 


 


 โปรเจ็คนี้ถูกออกแบบมาใช้กับ [FOMO](https://docs.edgeimpulse.com/docs/edge-impulse-studio/learning-blocks/object-detection/fomo-object-detection-for-constrained-devices) AI ตรวจจับวัตถุ ในส่วนของการแสดงผล AI บนจอ TFT ใน AIoT บอร์ด

 


 


  - ก่อนใช้ไฟล์นี้ต้องมีไฟล์โมเดล [FOMO](https://github.com/San279/train-FOMO-object-detect-esp32) และ [เซ็ทกล้องกับจอ TFT](https://github.com/San279/Esp32-camera-to-tft) บน AIoT บอร์ด 




## สิงที่ต้องมี

 - [AIoT](https://wirelesssolution.asia/) บอร์ด Esp32-S3 หรือ Esp32 ที่มี PSRAM

 - กล้อง OV 2640

 - ST7789 หรือ จอ TFT แบบไหนก้ได้

 - [Arduino IDE](https://www.arduino.cc/en/software) อันเก่าหรือใหม่ก้ได้

   รูปแผงวงจรของกล้องกับจอ TFT ใน AIot บอร์ด 
 


  ![alt text](/Images_for_readme/AIOT_push_button.jpg)

## โครงสร้าง

 - FOMO_object_detect_TFT_ino - มีไฟล์ Arduino เพื่อแสดงผล AI ขึ้นบนหน้าจอ TFT

## วิธีรันโปรเจ็ค

 1. ดาวน์โหลดแฟ้มเป็น zip และแตกไฟล์ในแฟ้ม Arduino. 





![alt_text](/Images_for_readme/folder_directory.PNG)







 2. เปิดไฟล์ FOMO_object_detect_TFT. บน Arduino และกดไปที่ sketch และ Add .Zip library หลังจากนั้นให้เลือกไฟล์โมเดล 





![alt_text](/Images_for_readme/arduino_model_zip.PNG)







 3. เปลี่ยนชื่อไฟล์บรรทัดที่ 24 ให้ตรงกับชื่อโปรเจ็คใน Edge Impulse  





![alt_text](/Images_for_readme/match_name.PNG)







 4. กดไปที่ tools ตรงตัวเลือกด้านบนและเปลี่ยน Board เป็น "ESP32S3 Dev Module" และเปลี่ยน PSRAM เป็น "OPI PSRAM".  





![alt_text](/Images_for_readme/IDE_configure.PNG)







 5. อัพโหลดโค้ดขึ้นบน ESP32-S3 เมื่ออัพโหลดครั้งแรกอาจจะใช้เวลาถึง 20 - 30 นาที 
 


![alt_text](/Images_for_readme/320_240.PNG)







## ฟีเจอร์ของโปรเจ็ค

- เปลี่ยนมัติหรือความละเอียดรูปของกล้องด้วยการกดปุ่ม push button ที่ต่อกับ I/o pin 1 ในทุกๆ คร้งที่กดปุ่ม มิติของกล้องจะสลับไปตามนี้



- ขนาดรูป 96 X 96 เรารันผล AI ได้ 5 ครั้งต่อเฟรม(fps) การปรับมิติของรูปอาจจะเพิ่มความแม่นยำของ Ai แต่ข้อเสียคือจะทำให้ช้าลง



![alt text](/Images_for_readme/96_96.PNG)






- QQVGA 160 X 120 ผล Ai 5 fps



![alt text](/Images_for_readme/160_120.PNG)






- 176 X 144  120 ผล Ai 5 fps



![alt text](/Images_for_readme/176_144.PNG)






- 240 X 176  120 ผล Ai 4 fps



![alt text](/Images_for_readme/240_176.PNG)






- 240 X 240  120 ผล Ai 4 fps



![alt text](/Images_for_readme/240_240.PNG)






- 320 X 240  120 ผล Ai 3 fps



![alt text](/Images_for_readme/320_240.PNG)






- เราควรเลือกมิติของโมเดลเรา



## เครดิต 

ต้องขอขอบคุณ [WIRELESS SOLUTION ASIA CO.,LTD](https://wirelesssolution.asia/) สำหรับการสนับสนุนโปรเจ็คนี้ และ [Bodmer / TFT_eSPI](https://github.com/Bodmer/TFT_eSPI/blob/master/README.md)

สำหรับโค้ดส่วนจอ TFT และโค้ดส่วนรัน FOMO จาก [Edge Impulse](https://edge-impulse.gitbook.io/docs/edge-impulse-studio/learning-blocks/object-detection/fomo-object-detection-for-constrained-devices)