Herzlich willkommen im openHAB Forum!
Zunächst mal, wenn Du einen Pi5 nutzt, solltest Du auch direkt openHAB5 nutzen, nicht openHAB4. Das hat erst mal nichts mit der 5 im Pi zu tun

sondern ist der Tatsache geschuldet, dass openHAB4 die alte Version ist, während openHAB5 die aktuelle stable Version ist.
Die Unterschiede zwischen den einzelnen Versionen sind durchaus erheblich und im Zweifel fehlt Dir über kurz oder lang ein Feature. Umgekehrt gewinnst Du nichts durch die Verwendung einer alten Version.
Die bequemste Variante für openHAB ist das offizielle Image, welches über den Pi Imager direkt installierbar ist (Other specific-purpose OS->Home assistants and home automation->openHAB->openHABian (64 bit))
Was die Funksteuerung betrifft, so gibt es ein grundsätzliches Problem, das ist die fehlende Standardisierung, bzw. die Tatsache, dass es so viele Standards gibt.
Bist Du sicher mit der Frequenz 2,4 GHz? Simple Funkfernsteuerungen nutzen gewöhnlich 443 MHz oder 886 MHz.
Es gibt diverse Funkstandards, die im Home Automation Bereich verbreitet sind, ZigBee z.B. verwendet gerne das 2,4 GHz Band, ebenso wie Bluetooth in diesem Band sendet, aber auch WLAN arbeitet im 2,4 GHz Band. All diese Systeme sind zueinander inkompatibel, in dem Sinn, dass sie sich nicht miteinander "unterhalten" können, die reine Sendefrequenz ist also bei weitem nicht ausreichend.
Gibt es eine genaue Bezeichnung der Leuchten/Lampen? Eventuell lässt sich darüber herausfinden, welchen Funkstandard sie verwenden.
Auf jeden Fall kann man für viele der Standards passende Funkmodule als USB-Stick kaufen und dann darüber die Geräte in openHAB einbinden.
Mein Ratschlag: Gehe "gut sortiert" vor. Der erste Schritt ist immer, die gewünschte Hardware in openHAB einzubinden, und zwar so, dass sie von openHAB aus gesteuert werden kann und möglichst im Gegenzug auch meldet, in welchem Zustand sie sich befindet. Die Sprachsteuerung kommt (viel) später!
Sofern die Geräte "smart" sind (was für die Hersteller lediglich bedeutet, dass sie in irgendeiner Weise über das Internet steuerbar sind), stehen die Chancen nicht schlecht, dass sie auch über openHAB steuerbar sind, aber man muss schon die genauen Gerätetypen kennen, openHAB unterstützt buchstäblich hunderte Protokolle, die teilweise jeweils wieder hunderte Gerätetypen anbinden können.
openHAB5.0.1 stable in einem Debian-Container (trixie, OpenJDK 21 headless runtime) (Proxmox 9.0.11, LXC)