Wer hat eine Anleitung zum Upgrade influxdb1 auf Influxdb2?

[zinnik]

Hallo liebe Forumsgemeinde.

Sicher gibt es einige von euch die schon den Upgrade von influx v1 zu influx v2... gemacht haben. Mein Openhab 4.0.1 läuft in einem Docker auf einer Qnap mit Ststischer IP. Die Influxdb v1 läuft auch in einem seperaten Docker genau so wie auch Grafana. Jetzt habe ich in einem Video gesehen von Eddys Smarthome wie er das upgrade beschreibt allerdings für iobroker. Wo dann auch die influx v2 in der alten QL Sprache ist. Und die Daten der jetzigen influx v1 erhalten bzw dann in der influx v2 sind.
Es wäre super cool wenn jemand eine Anleitung kennt wo man das für Openhab realiesieren kann.

Danke zinnik

[udo1toni]

Eigentlich gibt es da gar nicht viel zu beachten (na ja, schon...).
Grundsätzlich möchtest Du ja Deine Daten aus InfluxDB1 übernehmen, und das ist dann auch schon das größte Problem.
Du musst die Daten in InfluxDB1 nämlich exportieren und anschließend in InfluxDB2 wieder importieren.
Und weil das so zu einfach wäre, erlaubt InfluxDB beim Import nur eine bestimmte Menge an Daten auf einen Schlag (aus dem Gedächtnis: 10 MByte), so dass Du die exportierten Daten zuerst in entsprechende Häppchen aufteilen musst.
Das Datenbankformat hat sich erheblich verändert, Du musst in InfluxDB2 zwingend eine Organisation anlegen, der die Buckets (V1: Shards?) zugeordnet sind.
Statt User und Passwort erzeugst Du einen oder auch mehrere API Tokens, den Du dann statt User/Passwort angibst. Auf der anderen Seite hast Du mit InfluxDB2 eine Web UI, in der Du komfortabel auf die Daten zugreifen kannst. Vor allem kannst Du dort Abfragen in Flux erstellen, die Du dann direkt in Grafana übernehmen kannst - mit eigenem API Token läuft die Abfrage dann genauso einfach wie zuvor.
Es ist auc hmöglich, dass Du die veraltete SQL-Schnittstelle verwendest, aber Duz verpasst da etwas
Mein Tipp: Setze einfach mal einen InfluxDB v2 Container auf und schau es Dir an. Setze auch einen aktuellen Grafana Container zusätzlich auf und binde ihn an die neue Datenquelle an - alternativ kannst Du natürlich auch im Produktivsystem die v2DB als zusätzliche Datenquelle anbinden, Du musst Dir nur bewusst sein, dass die beiden Datenquellen unterschiedlich genutzt werden müssen.

In openHAB selbst musst Du nur im Addon von InfluxDB1 auf InfluxDB2 umstellen und die neuen Zugangsdaten hinterlegen (Bucket, Organisation, API Token) openHAB greift nur auf das Backend zu und holt Daten bzw. liefert sie ab, da wird also lediglich die Art des Zugriffs angepasst. Mit der Migration hat openHAB ansonsten nichts zu tun.

Ich meine, dass es eigentlich in der jüngeren Vergangenheit hier einen Thread zu dem Thema gab (jünger = letzte drei Monate?)

[zinnik]

Und weil das so zu einfach wäre, erlaubt InfluxDB beim Import nur eine bestimmte Menge an Daten auf einen Schlag (aus dem Gedächtnis: 10 MByte), so dass Du die exportierten Daten zuerst in entsprechende Häppchen aufteilen musst.
Das Datenbankformat hat sich erheblich verändert, Du musst in InfluxDB2 zwingend eine Organisation anlegen, der die Buckets (V1: Shards?) zugeordnet sind.

Dazu habe ich nichts in der doku gefunden. klingt komplziert

Es ist auc hmöglich, dass Du die veraltete SQL-Schnittstelle verwendest, aber Duz verpasst da etwas

Oder vieelicht doch auf die 3 warten da wird die ql wieder eingeführt
https://www.influxdata.com/blog/rebirth ... art-guide/

kannst du mir sagen wie ich in docker abfrage ob daten in der influxdb1.8.2 ankommen.

irgendwie glaube ich das nach einiger Zeit keine daten mehr ankommen zumindestesn hört mein Chart in Grafana aufeinmal auf

[udo1toni]

Dazu habe ich nichts in der doku gefunden. klingt komplziert

https://docs.influxdata.com/influxdb/v2.1/migrate-data/ Nicht wirklich aufwändig.

Oder vieelicht doch auf die 3 warten da wird die ql wieder eingeführt

Es ist nicht so, dass die QL nicht dabei wäre. Genauso ist Flux auch schon in V1 mit dabei gewesen.
Was die kommende V3 betrifft, so ist die V3 schon lange da, aber eben nicht als OSS Version. Ich bin nicht nicht zu 100% sicher, meine aber, dass es zumindest bei der V1 nicht lange gedauert hat, bis die OSS nach der Veröffentlichung der entsprechenden Enterprise Version runter zu laden war. Ich habe bisher noch nichts darüber gelesen, dass die V3 auch lokal installierbar wird (vermutlich schon, aber wann...) Und selbst wenn, muss das Addon für openHAB das auch unterstützen, genau wie auch Grafana - die QL wird sicher verändert sein gegenüber der V1.

kannst du mir sagen wie ich in docker abfrage ob daten in der influxdb1.8.2 ankommen.

Vermutlich kannst Du das über das CLI abfragen. Auf der anderen Seite: Wenn Du in Grafana keine Daten hast, ist die Sache ja eindeutig.
Ich hatte unter OH2 mit InfluxDB1.x auch ab und zu Probleme mit einer abgebrochenen Verbindung zur DB, das kann man im Zweifel in der openhab.log nachvollziehen, für jeden missglückten Schreibversuch in die DB.
Mit OH3/4 und InfluxDB2.71 gab es bisher keine Probleme - allerdings hat der Container auch mehr RAM und Speicher auf der SSD bekommen...

[zinnik]

Guten morgen, also in frontail kann ich da nichts finden zu der Datenbank. Mit welchem Befehl in der Shell im Docker kann ich den openhab.log abfragen? So richtig extreme Probleme habe ich erst mit openhab 4.

[nw378]

Wenn du Deine Daten aus der Influxdb 1.x migrieren willst, hier habe ich das mal beschrieben:

viewtopic.php?p=55907#p55907

[zinnik]

Ok prima ich versuch das mal. Hast du noch die docker compose von der 2.7.1 du hast es ja auf synolgy gemacht. Ich denke das es bei qnap ähnlich ist.

[nw378]

Nee, habe ich manuell installiert. Wenn du eine Video Anleitung brauchst, kann ich das hier empfehlen:

https://youtu.be/NyUHmD-049s?si=EGhQWBUsKeGW5BEl

Compose file hatte Udo hier mal gepostet, müsstest du mal suchen.

[udo1toni]

Also, als yaml sähe das so aus:

Code: Alles auswählen

version: '3'
services:
  influxdb:
    # latest ist momentan 2.7.1. 
    # man könnte auch influxdb:2.7.1 schreiben, uim explizit diese Version zu nutzen
    image: influxdb:latest 
    volumes:
      # Mount for influxdb data directory and configuration
      - /portainer/Files/AppData/Config/influxdb2:/var/lib/influxdb2:rw
    ports:
      - "8086:8086"
    healthcheck:
      test: curl --fail -s http://localhost:8086/ || exit 1
      interval: 1m30s
      timeout: 10s
      retries: 3
    restart: unless-stopped

unter https://hub.docker.com/_/influxdb gibt es übrigens auch eine Anleitung, wie die Migration "the docker way" durchgeführt werden kann.
Es wird ein Migration-Container erzeugt, der die Daten von dem einen auf das andere Volume überträgt. Dazu müssen natürlich beide Container (Influx1 und Influx2) gestoppt sein.
Persönlich habe ich damit aber keine Erfahrungen, weil ich InfluxDB nicht auf Docker laufen lasse.

[zinnik]

hier sind noch meine Fehlermeldungen aus dem Log

Code: Alles auswählen

2023-08-26 15:15:12.303 [WARN ] [.influxdb.InfluxDBPersistenceService] - Re-queuing 38 elements, failed to write batch.
2023-08-26 15:15:36.430 [INFO ] [openhab.core.model.script.Solarpanel] - Sekunde: 54936 
2023-08-26 15:15:36.432 [INFO ] [openhab.core.model.script.Solarpanel] - Leistung: 46.27854110788872 Sekunde: 54936 Tagesertrag: 0.70621054 kWh
2023-08-26 15:15:45.240 [WARN ] [ab.core.internal.events.EventHandler] - Dispatching event to subscriber 'org.openhab.core.io.monitor.internal.EventLogger@57629f61' takes more than 5000ms.
2023-08-26 15:15:49.170 [WARN ] [.influxdb.InfluxDBPersistenceService] - Re-queuing 91 elements, failed to write batch.
2023-08-26 15:15:45.352 [INFO ] [openhab.core.model.script.Solarpanel] - Sekunde: 54945 
2023-08-26 15:16:07.755 [INFO ] [openhab.core.model.script.Solarpanel] - Leistung: 46.27636299492612 Sekunde: 54945 Tagesertrag: 0.70629299 kWh
2023-08-26 15:16:08.015 [INFO ] [openhab.core.model.script.Solarpanel] - Sekunde: 54968 
2023-08-26 15:16:08.017 [INFO ] [openhab.core.model.script.Solarpanel] - Leistung: 46.27416706276665 Sekunde: 54968 Tagesertrag: 0.70655512 kWh
2023-08-26 15:16:08.241 [INFO ] [openhab.core.model.script.Solarpanel] - Sekunde: 54968 
2023-08-26 15:16:08.242 [INFO ] [openhab.core.model.script.Solarpanel] - Leistung: 46.27414517264116 Sekunde: 54968 Tagesertrag: 0.70655478 kWh
2023-08-26 15:16:15.422 [INFO ] [openhab.core.model.script.Solarpanel] - Sekunde: 54975 
2023-08-26 15:16:15.423 [INFO ] [openhab.core.model.script.Solarpanel] - Leistung: 46.27225247962347 Sekunde: 54975 Tagesertrag: 0.70661586 kWh
2023-08-26 15:16:20.762 [WARN ] [mmon.WrappedScheduledExecutorService] - Scheduled runnable ended with an exception: 
org.influxdb.InfluxDBException: timeout
	at org.influxdb.InfluxDBException.buildExceptionFromErrorMessage(InfluxDBException.java:161) ~[?:?]
	at org.influxdb.InfluxDBException.buildExceptionForErrorState(InfluxDBException.java:173) ~[?:?]
	at org.influxdb.impl.InfluxDBImpl.execute(InfluxDBImpl.java:837) ~[?:?]
	at org.influxdb.impl.InfluxDBImpl.write(InfluxDBImpl.java:470) ~[?:?]
	at org.openhab.persistence.influxdb.internal.influx1.InfluxDB1RepositoryImpl.write(InfluxDB1RepositoryImpl.java:133) ~[?:?]
	at org.openhab.persistence.influxdb.InfluxDBPersistenceService.commit(InfluxDBPersistenceService.java:285) ~[?:?]
	at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:539) ~[?:?]
	at java.util.concurrent.FutureTask.runAndReset(FutureTask.java:305) ~[?:?]
	at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:305) ~[?:?]
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1136) ~[?:?]
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:635) ~[?:?]
	at java.lang.Thread.run(Thread.java:833) ~[?:?]