openhab 4.2.1, zigbeemqtt, mqtt, mqtt-explorer

[BaluderBaer]

Hallo team

mal wieder eine frage in die runde.

benutze openhab 4.2.1, mit mqtt 20.x und zigbee mqtt.
soweit so gut,
der USB adapter arbeitet,
mqtt ist installiert,
zigbeemqtt bin ich online ( mit user und passwd )
mqtt binding ist installiert und online ( mit user und passwd )
motion sensoren ( zigbee ) kann ich ueber die oberflaeche aufnehmen, aendern und sehe diese auch. ( ip:1883 )

nun mochte ich dies gerne in openhab auch sehen. dazu soll/muss ich das jsonpath addon installieren, was auch gemacht worden ist. ( anzeige der teile im openhab )

danach muss der mqtt-explorer installiert werden. dies habe ich auch auf einem windows 10 rechner gemacht ( gleiches netzwerk ).
starten laest sich dieser, jedoch bekomme ich mit den selben anmeldedaten wie es bei zigbeemqtt ( user und passwd ) eine meldung
egal ob certificate ein oder aus ist / encryption auch aus ist.
disconnect by server

/var/log/mosquitto/mosquitto.log ( MQTT: 1883 ))

1727355292: New connection from 192.168.0.156:60415 on port 1883.
1727355292: Client <unknown> disconnected due to protocol error.

wenn ich wie im internet beschrieben dies trenne
# listener 1883
# protocol mqtt
# listener 8883
# protocol websockets

# listener 1883 192.168.0.101
# listener 8883 192.168.0.101

ebenso kann ich den client mit seiner ip bei listener mit eintragen, gleicher fehler

---------------

/var/log/mosquitto/mosquitto.log ( WS: 8883 ))
steht im log nichts drin, kein connect moeglich, und erhalte folgende meldung

connection econnrefused 192.168.0.101:8883

ich gehe von eiem denkfehler aus, weiss aber zur zeit nicht wo und wie.
ist der weg richtig ??
muss ich hier etwas anderes machen um die angezeigten daten im openhab sichtbar zu machen ?

bitte um einen freundlicht tritt in die richtige richtung ( um HILFE )

--------------

ach ja, ein seiteneffekt ist, ich musste alles per hand installieren, wenn ich ueber die config oberflaeche 20 / 2A gehe, bekomme ich von anfang an folgende meldung.:

[13:33:15] root@openhabian:/home/pi# sudo openhabian-config
2024-08-26_13:34:14_CEST [openHABian] Checking for root privileges... OK
2024-08-26_13:34:14_CEST [openHABian] Loading configuration file '/etc/openhabian.conf'... FAILED (add default usergroup openhabian) OK
2024-08-26_13:34:15_CEST [openHABian] openHABian configuration tool version: [openHAB]{2024-09-09T17:42:10+02:00}(fd421f3)
2024-08-26_13:34:15_CEST [openHABian] Checking for changes in origin branch openHAB... OK
2024-08-26_13:34:17_CEST [openHABian] Switching to branch openHAB... OK
2024-08-26_13:34:17_CEST [openHABian] Checking openHAB Signing Key expiry.
2024-08-26_13:34:17_CEST [openHABian] Checking expiry date of apt keys... OK
2024-08-26_13:34:17_CEST [openHABian] Installing prerequsites for openhab_rules_tools for JS Scripting (NodeJS)... OK
2024-08-26_13:34:26_CEST [openHABian] Checking for updates of openhab_rules_tools for JS Scripting... No update available.
2024-08-26_13:34:48_CEST [openHABian] Updating Linux package information... OK
2024-08-26_13:34:50_CEST [openHABian] Updating Zigbee2MQTT... FAILED (cp backup)
2024-08-26_13:35:10_CEST [openHABian] Checking for default openHABian username:password combination... OK
2024-08-26_13:35:10_CEST [openHABian] We hope you got what you came for! See you again soon
[13:35:20] root@openhabian:/home/pi#

Danke an alle
balu

[udo1toni]

Die Frage ist: ist Mosquitto überhaupt aus dem LAN erreichbar?

Hast Du Geräte außerhalb der Maschine, auf der openHAB, Mosquitto und ZigBee2mqtt installiert sind, die per mqtt kommunizieren?
Falls nicht, wäre mein erster Tipp eine Änderung in /etc/mosquitto/mosquitto.conf
Führe

Code: Alles auswählen

sudo nano /etc/mosquitto/mosquitto.conf

aus, um die Datei bearbeiten zu können.
Trage als erste Zeile, die nicht auskommentiert ist (d.h. es steht vorne keine # davor) listener 1883 ein.
Achte darauf, dass weiter unten keine weiteren (nicht auskommentierten) Zeilen mit listener vorkommen.
Speichere die Datei (aus dem nano editor heraus per <strg>+x).
Starte den Dienst anschließend neu:

Code: Alles auswählen

sudo systemctl restart mosquitto.service

Anschließend solltest Du eine Verbindung vom mqtt Explorer aus herstellen können.

[BaluderBaer]

hallo udo1toni
danke erst mal fuer die superschnelle antwort.
ja, nachdem ich "listener: 1883" in die /etc/mosquitto/mosquitto.conf eingetragen habe , ein reboot vom raspi gebenfalls gemacht habe.
die dienste zigbeemqtt und mosquitto active (running) sind kann ich jetzt vom windows 10 rechner via mqtt-explorer zugreifen.
jedoch geht jetzt die web oberflaeche 192.168.xxx.xxx:1883 nicht mehr ....
gruss
balu

[udo1toni]

Was soll denn das für eine Weboberfläche sein? Ist das zigbee? 1883 ist zwar nicht well-known, aber der offiziell für mqtt definierte Port, da sollte andere Software nicht laufen. Entsprechend solltest Du den Port für zigbee2mqtt auf einen anderen Port verschieben.

[BaluderBaer]

hallo udo1toni

sorry aber zur zeit stehe ich richtig auf der leitung.

meine configuration.yaml

Code: Alles auswählen

homeassistant: false
permit_join: true
mqtt:
  base_topic: zigbee2mqtt
  server: mqtt://192.168.0.101
  user: XXXXXXXXXX
  password: YYYYYYYYYY
serial:
  port: /dev/ttyACM1
advanced:
  network_key:
    - xxxxxxxxxxxxxxxxxxxxxxxxxxxxx
    - xxxxxxxxxxxxxxxxxxxxxxxxxxxxx
  ikea_ota_use_test_url: true
  legacy_api: false
  log_level: debug
frontend:
  port: 1883
  host: 192.168.0.101
  auth_token: CCCCCCCCCC
  listener: 1883
devices:
  '0xa4c1388b63134da9':
    friendly_name: Eglo Motion Sensor 3
    description: |-
      IEEE-Addresse => 0xa4c1388b63134da9
      Eglo Motion Sensor 3
  '0xa4c1382514796f10':
    friendly_name: Eglo Motion Sensor 2
    description: |-
      IEEE-Addresse => 0xa4c1382514796f10
      Eglo Motion Sensor 2

soweit so gut.
der raspi hat die ip 192.168.0.101

Code: Alles auswählen

[23:46:09] root@openhabian:/opt/zigbee2mqtt# sudo systemctl status mosquitto
● mosquitto.service - Mosquitto MQTT Broker
     Loaded: loaded (/lib/systemd/system/mosquitto.service; enabled; vendor preset: enabled)
     Active: active (running) since Fri 2024-09-27 23:31:55 CEST; 14min ago
       Docs: man:mosquitto.conf(5)
             man:mosquitto(8)
    Process: 184309 ExecStartPre=/bin/mkdir -m 740 -p /var/log/mosquitto (code=exited, status=0/SUCCESS)
    Process: 184313 ExecStartPre=/bin/chown mosquitto /var/log/mosquitto (code=exited, status=0/SUCCESS)
    Process: 184314 ExecStartPre=/bin/mkdir -m 740 -p /run/mosquitto (code=exited, status=0/SUCCESS)
    Process: 184315 ExecStartPre=/bin/chown mosquitto /run/mosquitto (code=exited, status=0/SUCCESS)
   Main PID: 184316 (mosquitto)
      Tasks: 1 (limit: 4531)
        CPU: 542ms
     CGroup: /system.slice/mosquitto.service
             └─184316 /usr/sbin/mosquitto -c /etc/mosquitto/mosquitto.conf

Sep 27 23:31:55 openhabian systemd[1]: Starting Mosquitto MQTT Broker...
Sep 27 23:31:55 openhabian mosquitto[184316]: 1727472715: Loading config file /etc/mosquitto/conf.d/local.conf
Sep 27 23:31:55 openhabian systemd[1]: Started Mosquitto MQTT Broker.
[23:46:15] root@openhabian:/opt/zigbee2mqtt# sudo systemctl status zigbee2mqtt
● zigbee2mqtt.service - zigbee2mqtt
     Loaded: loaded (/etc/systemd/system/zigbee2mqtt.service; enabled; vendor preset: enabled)
     Active: active (running) since Fri 2024-09-27 23:46:19 CEST; 1s ago
   Main PID: 191920 (npm start)
      Tasks: 19 (limit: 4531)
        CPU: 2.109s
     CGroup: /system.slice/zigbee2mqtt.service
             ├─191920 npm start
             ├─191941 sh -c node index.js
             └─191942 node index.js

Sep 27 23:46:19 openhabian systemd[1]: Started zigbee2mqtt.
Sep 27 23:46:19 openhabian npm[191920]: > zigbee2mqtt@1.36.1 start
Sep 27 23:46:19 openhabian npm[191920]: > node index.js
[23:46:20] root@openhabian:/opt/zigbee2mqtt# sudo systemctl restart mosquitto.service
[23:52:45] root@openhabian:/opt/zigbee2mqtt# npm ci

added 806 packages, and audited 807 packages in 25s

91 packages are looking for funding
  run `npm fund` for details

found 0 vulnerabilities
[23:53:22] root@openhabian:/opt/zigbee2mqtt# sudo systemctl start zigbee2mqtt
[23:53:29] root@openhabian:/opt/zigbee2mqtt# sudo systemctl restart mosquitto.service
[23:53:38] root@openhabian:/opt/zigbee2mqtt# npm start

> zigbee2mqtt@1.36.1 start
> node index.js

Zigbee2MQTT:debug 2024-09-27 23:53:53: Loaded state from file /opt/zigbee2mqtt/data/state.json
Zigbee2MQTT:info  2024-09-27 23:53:53: Logging to console and directory: '/opt/zigbee2mqtt/data/log/2024-09-27.23-53-52' filename: log.txt
Zigbee2MQTT:debug 2024-09-27 23:53:53: Removing old log directory '/opt/zigbee2mqtt/data/log/2024-09-27.23-52-33'
Zigbee2MQTT:debug 2024-09-27 23:53:53: Removing old log directory '/opt/zigbee2mqtt/data/log/2024-09-27.23-40-44'
Zigbee2MQTT:info  2024-09-27 23:53:53: Starting Zigbee2MQTT version 1.36.1 (commit #ffc2ff1d)
Zigbee2MQTT:info  2024-09-27 23:53:53: Starting zigbee-herdsman (0.40.3)
Zigbee2MQTT:debug 2024-09-27 23:53:53: Using zigbee-herdsman with settings: '{"adapter":{"concurrent":null,"delay":null,"disableLED":false},"backupPath":"/opt/zigbee2mqtt/data/coordinator_backup.json","databaseBackupPath":"/opt/zigbee2mqtt/data/database.db.backup","databasePath":"/opt/zigbee2mqtt/data/database.db","network":{"channelList":[11],"extendedPanID":[221,221,221,221,221,221,221,221],"networkKey":"HIDDEN","panID":6754},"serialPort":{"path":"/dev/ttyACM1"}}'
^C   => abbruch mit strg C
Zigbee2MQTT:debug 2024-09-27 23:54:07: Saving state to file /opt/zigbee2mqtt/data/state.json
Zigbee2MQTT:error 2024-09-27 23:54:07: Not connected to MQTT server!
Zigbee2MQTT:error 2024-09-27 23:54:07: Cannot send message: topic: 'zigbee2mqtt/bridge/state', payload: 'offline
Zigbee2MQTT:info  2024-09-27 23:54:07: Disconnecting from MQTT server

wenn ich jetzt im netzwerk im browser http://192.168.0.101:1883 aufgerufen habe, bin ich auf der zigbeemqtt weboberflaeche gelandet, und konnte meine eglo sensoren anmelden.
diese stehen ja auch in der config drin.
was nicht ging war der mqtt-explorer auf dem windows rechner. da hatte ich die oben genannte meldung
"Client <unknown> disconnected due to protocol error."
bekommen.

nun scheint es genau umgekehrt zu sein.
mqtt-explorer geht, nur die weboberflaeche geht nicht mehr ( kommte meldung "Client <unknown> disconnected due to protocol error." )
einen screenshot kann ich leider nicht erstellen, da ich wie gesagt keinen zugriff mehr habe.
im mqtt-explorer sehe ich das 2 geaete angemeldet sind, mehr aber hierzu nicht.

da beides auf den port 1883 geht ( broker ist mit port 1883 konfiguriert ) muss ich doch in beiden faellen den port verwenden.
zigbee verbinder sich mit user / passwd / port mit dem broker

im openhab ist der mqtt brocker online ( mit dem user/passwd/port )
meine vorstellung hierzu ist/war, das ich mit dem tablet rumlaufe , die geaete aufmehme ( weboberflaeche ) und dann am pc mit mqtt-explorer weiterverarbeite.
da ist auch meines erachtens keine andere software im spiel. alles muss ueber den port 1883 abgearbeitet werden

zigbeemqtt ( weboberflaeche ) => mqtt brocker / zigbeemqtt
openhab => mqtt brocker / zigbeemqtt
mqtt-explorer => mqtt brocker / zigbeemqtt

weil das ziel immer "mqtt brocker/zigbeemqtt" ist.

wo ist mein denkfehler / meine falsche konfiguration.
geaendert hat es ich nachdem ich den listener: 1883 eingetragen hatte.
diesen habe ich auch wieder rausgenommen, aber das problem bleibt so. ( mqtt explorer => ok , zigbee wboberflaeche ?> nicht ok )

gluecklicher weise habe ich vor einlesen der geraete ein kompl backup gemacht. ggf werde ich auf die version zurueck gehen und die nocheinmal machen.
evtl habe ich mir etwas durch das dauernde aendern der config datei kompl. zerschossen ......

Danke fuer die hilfe
balu

[BaluderBaer]

frontend_zigbee2mqtt.png

ich habe gerade im internet einen screenshot der weboberflaeche gefunden.:

Zigbee2MQTT has a built-in web-based frontend.

das sollte doch beides zusammen laufen ( Zigbee2MQTT / mqtt-explorer ), oder schliesst das eine das andere aus ?
gibt es einen anderen evtl besseren weg die daten von zigbee2mqtt in openhab zu bringen.

da ich hier am anfang stehe, bin ich fuer alle anregungen offen

DANKE
balu

[udo1toni]

Also, Du musst bei frontend: einen anderen Port eintragen, der sich nicht mit einem anderen verwendeten Port in die Quere kommt.
Alle Ports unterhalb 1024 sind reserviert. Man benötigt erweiterte Rechte, um auf diesen Ports einen Dienst zu starten (z.B. Samba, ssh, telnet usw.)
Über 1024 kannst Du im Prinzip frei wählen, aber eben keine anderswo verwendeten Ports:
openHAB: 8080 für http, 8443 für https, 5007 für lsp, 8101 für ssh auf die Karaf Konsole
frontail (falls openHABian): 9001 für http
mosquitto: 1883 für mqtt, optional 8883 für (s)mqtt
Falls Du weitere Dienste laufen hast, musst Du deren Ports natürlich ebenfalls meiden.

Ein "guter" Port könnte z.B. 8081 sein (zigbee2mqtt stellt nur http zur Verfügung), 18080 wäre ebenfalls eine gern genommene Variante (der "2." http Service, frontail mal nicht mitgerechnet), aber grundsätzlich könntest auch ganz was anderes nehmen, 1357, 3695, 4711... vollkommen wurscht, solange der Port frei ist.
Der Befehl ss -lnut gibt eine Liste aller verwendeten Ports aus. Dabei ist die Spalte Local Address:Port relevant, und zwar all jene Zeilen, in denen als IP-Adresse die des Servers ist oder * oder 0.0.0.0 (was jeweils "jede IP" bedeutet). 127.0.0.1 wäre localhost und muss nicht unbedingt berücksichtigt werden - aber die Liste ist gewöhnlich nicht soooo lang, und es gibt knapp 63kbi "freie" Ports, es wäre also sinnvoll, einfach nur einen Port (über 1024) zu nehmen, der überhaupt nicht in der Liste der lokalen Ports auftaucht.

Da zigbee2mqtt keinen eigenen mqtt broker startet, gibt es in der Konfiguration auch keinen Parameter "listener", das ist Quatsch.
Schau am besten in der offiziellen Doku von zigbee2mqtt, wenn Du Parameter "ergänzen" willst

EDIT: Achso, Du hast oben angegeben, Du hättest in der mosquitto.conf als Parameter listener: 1883 angegeben, das ist falsch. In der mosquitto.conf darf nach dem Parameternamen kein Doppelpunkt stehen, die entsprechende Zeile muss also so aussehen:

Code: Alles auswählen

listener 1883

[peter-pan]

Wenn du zigbee2mqtt installiert hast (mit openhabian-config), sollte das frontend über den Port 8081 erreichbar sein bzw. solltest du in der Konfigurationsdatei so eintragen, damit es keine Überschneidungen mit OH gibt.

Ausschnitt aus der Konfigurationsdatei "/opt/zigbee2mqtt/data/configuration.yaml"

Code: Alles auswählen

frontend:
  port: 8081
homeassistant: false
permit_join: true
mqtt:
  base_topic: zigbee2mqtt
.......

Näheres hierzu findest du auch hier.

Der Port 8080 ist standardmäßig von der OH-Web-Oberfläche belegt. Wie von Udo bereist gesagt, hat das nichts mit dem Port 1883 zu tun, der für Mosquitto benutzt wird.

zigbee2mqtt-dash.jpg

zigbee2mqtt.jpg

oh-oberfl.jpg

[BaluderBaer]

hallo team

DANKE fuer eure tips und unterstuetzung

wenn ich die config in diesem bereich auf das aendere, scheint es fuer beides zu gehen.

frontend:
port: 8085
auth_token: xxxxxxxxxx

host und listener kompl. rausgenommen
DANKE an alle.

@udo1toni
wenn ich den listener ( mosquitto.conf ) ohne ":" eintrage, bekomme ich diese fehlermeldung.:

/opt/zigbee2mqtt/node_modules/js-yaml/lib/loader.js:183
return new YAMLException(message, mark);
^
YAMLException: can not read an implicit mapping pair; a colon is missed (35:16)

mit ":" kommt diese nicht.

@ peter-pan
wie ganz oben schon geschrieben, die installation ueber "openhabian-config" ging nicht.( fehlermeldung ganz oben )
dadurch musste ich alles per hand installieren. ( evtl dadurch die ganzen probleme ) ?????

diese meldung erhalte ich auch jetzt noch, ( nach der installtion ) evtl fuer ggf updates wichtig ???

jetzt kann ich aber erst mal weiter machen

wiegesagt DANKE an alle ( ihr habt mir sehr geholfen !!!!! ) und ein schoenes we fuer euch

Balu

[udo1toni]

Du änderst offensichtlich etwas in einer yaml-Datei, nicht in mosquitto.conf.
Da Du schreibst, dass Du mit openhabian-config keinen Erfolg hattest, wundert mich das Chaos auch nicht mehr

openHABian ist eine Scriptsammlung, welche die komfortable Einrichtung von openHAB und vielen zugehörigen Komponenten ermöglicht. Es gibt für den Raspberry Pi ein Image, auf dem openHABian bereits vorinstalliert ist.
Warum die Installationsroutine fehlschlug, kann ich so nicht beantworten (zumal ich selbst openHABian nur am Rande nutze), allgemein kann ich aber sagen, dass openHABian gewöhnlich äußerst stabil und zuverlässig läuft. Der ganze Installer ist so angepasst, dass alles perfekt ineinander greift (z.B. sind für mosquitto User und Passwort vordefiniert mit den Werten, die bei der Installation über openhabian-config angegeben wurden, die listener werden eingetragen usw., für zigbee2mqtt wird der frontend Port angepasst...)

Wenn Du keine weiteren Probleme hast, kannst Du alles so lassen, wie es jetzt ist, schließlich funktioniert es jetzt ja.

Falls Du allerdings weitere "Eigentümlichkeiten" findest, wäre mein Vorschlag, ein Backup Deiner Konfiguration zu erstellen (entweder über openhabian-config oder - besser - direkt über die Shell, mittels sudo openhab-cli backup. Der Befehl erstellt ein Backup (ohne Persistence Daten) und speichert dieses im Ordner $OPENHAB_USERDATA/backups/ und dem vom Programm ausgespuckten Namen (alternativ kannst Du auch selbst einen Namen und Ort vorgeben). Das Backup ist in der Größenordnung 10 MByte groß und lässt sich prima über die Samba Freigabe auf einem Desktop PC sichern. Auf diesem Desktop PC kann man auch direkt eine SD-Karte mittels Pi Imager erstellen, man wählt im Imager dazu unter den bereitgestellten Images direkt das openHABian Image aus (der Pi Imager hat das eingebaut und liefert immer die aktuelle Version aus!).
Man kann dann noch ein paar Änderungen vornehmen (das Backup auf die erste Partition packen, den Namen des Ordners auf initial.zip ändern und in openhabian.config die entsprechende Zeile anpassen, so dass das Backup direkt beim ersten Start von openhabian-config geladen wird).
Dann kann man von der neuen SD-Karte booten und das System richtet alles wieder so ein, wie es war.
Alles, was über openhabian-config manuell nachinstalliert wurde (mosquitto, zigbee2mqtt, influxdb, grafana usw.) muss leider wieder über openhabian-config eingerichtet werden. Hat man bei diesen Diensten irgendwas extern konfiguriert, muss man das auch von Hand wieder herstellen, denn im openhab-Backup befindet sich nur die Konfiguration von openHAB, nicht von Dritt-Software.

Auf einem frisch installierten System sollte openhabian-config keine Probleme haben, die Zusatzkomponenten zu installieren.