Herzlich willkommen im Forum!
Vorab: ich kenne die Oberfläche von Docker in Synology nicht.
Grundsätzlich sollte es eine Web UI geben, über die Du Container anlegen kannst.
Gewöhnlich verwendet man aber entweder einen Befehl, den man dann z.B. auhc in ein Script einbauen kann, oder man setzt einen Stack auf, der dann per docker-compose aufgesetzt wird. In einem Stack werden dann alle Container zusammengefasst, welche auf dem System laufen sollen.
openHAB ist offiziell über DockerHUB verfügbar:
https://hub.docker.com/r/openhab/openhab dort sind sowohl die normalen Kommandos als auch docker-compose-Files gelistet.
Docker trennt Anwendungen voneinander, gewöhnlich wird man also pro Anwendung genau eine Software installieren. Z.B. möchte man openHAB nutzen, aber man benötigt auch noch mqtt, also wird ein weiterer Container für mosquitto eingerichtet (das ist der Standard Broker für mqtt Anwendungen im OpenSource-Bereich).
Alle Container, die miteinander kommunizieren sollen, müssen entweder im selben Netzwerksegment laufen, oder sie müssen über den Router miteinander kommunizieren.
In welchem Netzwerk der Container läuft, kann frei parametriert werden, wobei es diverse verschiedene Optionen für das Netz gibt. Als Default gibt es mindestens host, bridge und none, wobei nur die ersten beiden interessant sind. bridge wäre der Default, der Container bekommt ein eigenes Netzwerksegment (wahlweise kann auch ein bestimmtes zugewiesen werden) und kommuniziert mit der Außenwelt nur über Port Mappings. Der Docker Host übernimmt dabei die Rolle des Routers. Man kann es sich so vorstellen wie eine Portweiterleitung bei der FRITZ!Box, so dass ein bestimmter Dienst auf einem bestimmten Rechner aus dem Internet erreichbar ist.
host nutzt stattdessen direkt das Netzwerk des Docker Hosts, was natürlich wesentlich unsicherer ist (das wäre im Vergleich bei der FRITZ!Box die Betriebsart "Exposed Host", alle Ports werden auf diesen einen Rechner weitergeleitet (wobei das natürlich nicht zu 100% stimmt, aber so zur Vorstellung sollte es reichen).
openHAB wird gerne im host Mode betrieben, weil man sich keine Gedanken über Ports und deren Weiterleitung machen muss. (Fast) zwingend wird der host Mode, wenn ein Container Multicast verwenden soll (auch das ist bei verschiedenen openHAB Bindings der Fall).
Natürlich kann man den Router auch überreden, Multicast über Netzwerksegmente hinweg zu routen, und auch Docker macht da keine Ausnahme, aber das ist jedenfalls nichts für den Normalanwender, da muss man schon ein tiefes Verständnis der Software haben, um das erfolgreich zum Laufen zu bekommen. Mir ist jedenfalls keine "Klick da und es geht" Anleitung dazu bekannt.
Schau mal in der Synology UI, ob Du ein docker-compose-file nutzen kannst, das ist eigentlich die verbreitetste Art, individuelle Container einzurichten.
Jepp, falls es keine gescheite UI gibt, ist Portainer eine gute Wahl.
openHAB4.3.3 stable in einem Debian-Container (bookworm) (Proxmox 8.3.5, LXC), mit openHABian eingerichtet