Urządzenie · Projekt własny

Zdzichu

Toksyczny helpdesk w kieszeni. Obraża Cię z lodowatą elegancją i mimo to rozwiązuje problem.

Rok

2026

Platforma

M5Stack Core2 · Android

Moja rola

Pomysł, firmware, aplikacja na Androida, backend i wdrożenie, wszystko solo.

Zdzichu

W skrócie

  • Urządzenie: M5Stack Core2
  • Procesor: ESP32
  • Backend: Node.js + Gemini

Wyzwanie

Postać miała być nieznośna i użyteczna jednocześnie, a te dwa wymagania ciągną w przeciwne strony. Żart przestaje być śmieszny w sekundzie, w której zaczyna przeszkadzać w rozwiązaniu problemu. Do tego cały ciężki pipeline (rozpoznawanie mowy, generowanie odpowiedzi, synteza głosu) nie miał jak zmieścić się na ESP32, a klucze API wgrane do firmware oznaczałyby rozdanie ich każdemu, kto weźmie urządzenie do ręki. I jeszcze ekran: 320×240 pikseli bez wygładzania, na którym emocje muszą być czytelne z drugiego końca pokoju.

Rozwiązanie

Urządzenie jest cienkim klientem: zna wyłącznie adres backendu i jeden współdzielony sekret, zero kluczy API na sprzęcie. Jedna tura rozmowy to jedno żądanie: surowe PCM leci POST-em do backendu w Dockerze na moim VPS-ie, tam Gemini robi transkrypcję i odpowiedź w jednym przejściu, osobno syntezę mowy, a wraca gotowe audio. Emocje rozwiązałem jak manometr, nie jak minę: pięć stanów twarzy, w których w trakcie jednej odpowiedzi wypiek wściekłości wspina się od kołnierzyka w górę i kończy wybuchem, a pod całym jadem prompt systemowy pilnuje, żeby została działająca odpowiedź, bo to jedyny zawodowy obowiązek Zdzicha. Backend pamięta ostatnie wypowiedzi z rozmowy przez 20 minut, więc da się dopytać.

Proces

  1. Twarz jako maszyna stanów: pięć stanów rysowanych tym samym zestawem pikselowych prymitywów wprost na ekranie 320×240, bez wygładzania i bez bitmap.
  2. Sterowanie głosem: tap-to-talk na dotykowej twarzy, nagranie 16 kHz / 16-bit mono (do 10 s), drugi tap kończy i wysyła.
  3. Backend w Node.js (Express) w Dockerze: jedno żądanie na turę, sekret urządzenia w nagłówku, surowe PCM w ciele; krótka pamięć rozmowy w RAM kontenera.
  4. Warstwa modelu: Gemini zwraca transkrypcję i odpowiedź w jednym przejściu (wynik w JSON), potem osobno syntezę mowy, a prompt systemowy trzyma granicę między jadem a treścią.
  5. Port na Androida: te same współrzędne twarzy co w firmware i ten sam protokół, więc aplikacja i urządzenie rozmawiają z tym samym backendem.
  6. Konfiguracja WiFi w terenie: urządzenie bez znanej sieci wystawia własny hotspot z portalem konfiguracyjnym, a sieć można zresetować przytrzymaniem ekranu przy starcie.
  7. Wdrożenie: GitHub Actions buduje i publikuje obraz backendu przy każdym pushu, a stack na własnym VPS-ie, za Nginx Proxy Managerem, go uruchamia.

Jak to wygląda

Wszystkie obrazy poniżej to rendery wykonane z kodu twarzy i makiety, nie zdjęcia urządzenia ani zrzuty z telefonu.

Co potrafi

  • Tap-to-talk. Stukasz w twarz, mówisz, stukasz znowu. Żadnego przycisku, żadnego słowa aktywującego i żadnego nasłuchu w tle.
  • Twarz jak manometr. Pięć stanów: spokój, nasłuch, myślenie, mówienie i eskalacja. W trakcie jednej odpowiedzi wypiek wściekłości wspina się od kołnierzyka w górę, a na końcu pokrywa puszcza.
  • Zero kluczy na sprzęcie. Urządzenie zna tylko adres backendu i jeden współdzielony sekret. Klucze do modelu zna wyłącznie backend, więc rozkręcenie obudowy nic nie daje.
  • Jedna tura, jedno żądanie. Nagranie w surowym PCM idzie jednym POST-em, wraca gotowe audio, bez sesji do utrzymywania po stronie urządzenia.
  • Pamięć rozmowy. Backend pamięta ostatnie tury przez 20 minut (jako tekst, w pamięci kontenera), więc Zdzichu pamięta, czym Cię przed chwilą obraził. Po restarcie zaczyna od zera.
  • Ta sama twarz na Androidzie. Aplikacja to port 1:1 współrzędnych z firmware i rozmawia z tym samym backendem, tym samym protokołem. Bez zewnętrznych bibliotek.
  • Głos zamiast napisów. Odpowiedź wraca jako mowa (synteza Gemini, głos „Charon”) i odtwarza się, gdy cała dotrze do urządzenia.
  • Sarkazm z granicą. Na system i świat Zdzichu bluzga jak szewc, ale wobec użytkownika trzyma lodowaty, chirurgicznie precyzyjny sarkazm bez wulgaryzmów, to celowa granica wpisana w prompt.
  • WiFi bez przeprogramowywania. Nowa sieć ustawia się z telefonu przez własny hotspot urządzenia, bez ruszania kodu.
  • Własna infrastruktura. Cały pipeline stoi w Dockerze na moim VPS-ie, a obraz buduje się sam przy każdym pushu.

Dane techniczne

  • Urządzenie: M5Stack Core2 (ESP32, ekran 320×240)
  • Firmware: C++ / M5Unified (PlatformIO, Arduino)
  • Aplikacja: Android 8+ (Kotlin, bez zewnętrznych bibliotek)
  • Backend: Node.js (Express) w Dockerze, własny VPS
  • Model: Gemini: transkrypcja, odpowiedź i synteza mowy (modele preview)
  • Audio: nagranie 16 kHz / 16-bit mono, odtwarzanie 24 kHz
  • Wdrożenie: GitHub Actions (obraz), Portainer, Nginx Proxy Manager

Prywatność

Urządzenie nie zna żadnego klucza do modelu, ma tylko adres backendu i jeden współdzielony sekret w nagłówku żądania, więc dostęp do sprzętu nie daje dostępu do API. Samo nagranie jest przetwarzane po drodze: idzie do mojego backendu, a stamtąd do Gemini po transkrypcję, odpowiedź i syntezę głosu. Nic nie nagrywa się w tle, mikrofon startuje dopiero po stuknięciu w twarz i kończy po drugim stuknięciu.

Następna realizacja

Strona firmowa · Projekt własny

Zaczynamy?

Zacznijmy od rozmowy

Opisz, co chcesz zbudować. W odpowiedzi dostaniesz zakres, cenę i termin. Zapytanie nic nie kosztuje i do niczego nie zobowiązuje.