influxDB mit Grafana und "externe" Software

[int5749]

Hallo zusammen,

ich bin bekennenderweise kein DB Spezialist und froh, das ich in openHAB MapDB und eine SQLite DB für meine Persisence und Anwesenheitssimulation nutze. Die SQLite muss ich zyklisch, manuell um die veralteten Einträge bereinigen, aber dies ist für mich akzeptabel.

Nun überlege ich mit InfluxDB und Grafana (beim Umstieg auf Linux) eine etwas umfassendere Möglichkeit zu erhalten. Gleichzeitig nutze ich evcc.io zur Steuerung meiner Wallbox mit PV Überschuß, welche ebenfalls InfluxDB und Grafana unterstützt.

Nun meine Fragen aus Unwissenheit.

1) Ist eine lokale Installation von InfluxDB notwendig? Oder erfolgt in openHAB "nur" die Konfiguration der entsprechenden DB in einer lokalen Inst.?
2) Kann ich die gleiche InfluxDB Installation für beide Apps "openHAB" und "evcc" nutzen?
3) Ist eine Registrierung bei Grafana notwendig, oder wird dies ebenfalls lokal installiert??

Derzeit habe ich noch keinen roten Faden gefunden :-/

Viele Grüße

[nw378]

Sowohl influxdb wie auch Grafana werden lokal installiert und dann auch konfiguriert. Eine Registrierung bei Grafana ist nicht notwendig, alles lokal.
Auch sollten mehrere Anwendungen in InfluxDB speichern können.
Für die Installation kannst Du per Putty "sudo openhabian-config" ausführen und dann "optional Components/24 I InfluxDB+Grafana" wählen oder diesem Video folgen:

https://www.youtube.com/watch?v=T0GnfHt8aLg

[udo1toni]

Also, vielleicht noch mal zur Klarstellung...

InfluxDB kann gemeinsam mit openHAB auf dem gleichen Rechner installiert sein, das ist aber nicht zwingend notwendig. Das gleiche gilt für Grafana.
Ich habe bei mir Proxmox laufen und auf Proxmox lasse ich diverse Container laufen. In einem Container befindet sich InfluxDB, in einem anderen Container befindet sich Grafana, in einem dritten Container befindet sich openHAB.
Genau wie MySQL kannst Du in InfluxDB mehrere Datenbanken parallel laufen lassen, so dass die Daten der verschiedenen Systeme zwar von der selben Engine verarbeitet werden, aber dennoch komplett unabhängig voneinander sind. Und wieder gilt das gleiche für Grafana wobei Dich natürlich niemand daran hindert, mehrere Datenquellen in einer Übersicht zu nutzen.

[int5749]

Danke Euch Beiden!

Ich denke es macht keinen Unterschied über openhabian oder der direkten Quelle zu installieren, denn mit einem Update wird eh alles auf den aktuellsten Stand gebracht?

@udo1toni
Hast Du in jedem Container ein eigenes "komplettes" Linux und musst Contaier für Container updaten? Oder kann dies "so kenne ich dies bei Citrix" auf x Containern testen und dann alle Container updaten?

Derzeit bin ich noch unschlüssig, ob ich alles in einem System zusammenfasse oder einiges in Containern separiere. Noch bin ich in der Test/Findungsphase.

Viele Grüße

[udo1toni]

Da die Container unterschiedliche Dinge machen, ist es nicht gut, alle Container gemeinsam upzudaten das ist nur bei sehr ähnlichen Containern sinnvoll. Bei LXD gibt es dafür, soweit ich weiß, keinen Mechanismus, das systemübergreifend zu erledigen.

Es gibt auch noch die Docker-Variante von openHAB, und Docker hat schon ein paar Vorteile gegenüber LXD.

[int5749]

Hmm,

Klingt nachvollziehbar und beruflich prüfen wir auch alle Kern-Apps gegen Updates, da im privaten Umfeld die Anzahl der Apps eher geringer ist wird es wohl auf einen Test/Snapshot pro Container/LXC hinauslaufen.

Eine Frage war noch untergegangen Nutzt Du auf Allen LXC‘s das gleiche Linux/Debian oder gibt es „abgespeckte“ Images für z.B. einen DB Server mit Grafana?

Unterm Strich möchte ich ja möglichst auch noch Strom sparen, wenn ich nun von einem full-blown Windows 10 24/7 auf einen Proxmax mit LXC‘s wechsle. (Oder zumindest nicht mehr verbraten) Meine Erwartung wäre aber ja: Mehr LXCs => mehr Strom

Docker hatte ich mir mal angeschaut und sogar mal eine Schulung begonnen und dann kam wieder beruflicher Stress :-/
Werde die mal als zweite Option zumindest betrachten

[udo1toni]

Hihi... Strom sparen... Nun ja, das ist natürlich meine eigene Schuld, aber leider klappt das bei mir so gar nicht. Das liegt aber vor allem daran, dass in dem System fünf Platten mit jeweils 8 TByte verbaut sind, was als ZFS-Z1 (entspricht RAID5) roh 32 TByte Platz ergibt (80% nutzbar, da ZFS gern etwas Luft zum Atmen hat)
Ich hätte stattdessen natürlich auch 3 Platten mit jeweils 16 TByte verbauen können, aber durch die langsamere Aufzeichnung hätte ich dann zumindest noch eine weitere Cache-SSD mit minimum 1 TByte verbauen müssen, was unterm Strich beim Aufbau des Systems erheblich mehr gekostet hätte...
Der Rechner als solches ist mit 64 GByte ECC RAM und Ryzen 6-Core auch nicht klein... Aber wie erwähnt laufen hier diverse Dienste...

Was unter LXC läuft, ist alles mit debian am Start, wobei ich eine Maschine auf Jessie hängen habe, da läuft eine Visu von Ubiquiti für MPower (Leider haben die das Produkt eingestellt...) Die Software verlangt Java7 und eine passend alte MongoDB, ich meine mich zu erinnern, dass speziell die MongoDB ein Upgrade verhindert hat...
Ansonsten bin ich überall auf bullyeye, halt... checkmk läuft noch unter buster, bis es offizielle Unterstützung gibt (die Graphen funktionieren nicht und die Systemlast ist dauerhaft auf 100% wenn man das Upgrade auf bullseye macht)

Das Nette bei Proxmox (vor allem im Zusammenhang mit ZFS) ist, dass man sich um Backups eigentlich nicht mehr kümmern muss. Es läuft ein zfs-auto-snapshot, welches viertelstündlich snapshots anlegt, auf einer 2. Maschine, die einmal am Tag startet, wird jeweils ein differenzielles Backup gezogen.

Die Maschinen stehen allerdings im gleichen Rack, gegen Feuer usw. hilft das natürlich nicht. Aber dann hätte ich eh andere Probleme.

Also Strom spare ich mit meiner Hardware sicher nicht. Aber das liegt halt an meinem Ausbau, nicht daran, dass Linux Systeme mehr Strom bräuchten als vergleichbare Windows Systeme.

[int5749]

Ich habe nun gestern etwas Zeit aufgewendet und InfluxDB (X-Influxdb-Version: 1.8.9) und Grafana in einem eigenen Container installiert.
So weit so gut und ich habe mich dabei an die Anleitung von BangerTech (aus dem verlinkten Video) orientiert, da dies ja für OH2 erstellt wurde.

InfluxDB
2x Datenbank "openhab" und "evcc"
3x User (1x zu schreiben in openhab, 1x schreiben in evcc, 1x lesend auf beiden für Grafana)

evcc und openhab konfiguriert und die entsprechenden User und Datenbank angegeben

In Grafana sehe ich beide Datenbanken

Bei evcc scheinen die Daten einzulaufen, da ich den Verlauf der PV Erzeugung und Batterie-Ladung darstellen kann.

Nun das seltame mit openHAB
Ich habe Influx-Persistence installiert und konfiguriert
Eine influxdb.persist angelegt

Code: Alles auswählen

// InfluxDB persistence service
// persistence strategies have a name and a definition and are referred to in the "Items" section
Strategies
{
    everyMinute : "0 * * * * ?"
    everyHour : "0 0 * * * ?"
    everyDay : "0 0 0 * * ?"
	
    // if no strategy is specified for an item entry below, the default list will be used
    default = everyChange
}

/* 
 * Each line in this section defines for which item(s) which strategy(ies) should be applied.
 * You can list single items, use "*" for all items or "groupitem*" for all members of a group
 * item (excl. the group item itself).
 */
Items
{
    Weather_Temperature : strategy = everyMinute
    temperature : strategy = everyMinute
}

Und einige Items ensprechend konfiguriert

Code: Alles auswählen

Number:Temperature Sensor_AmbientTemp		"Temperatur Sensor [%d %unit%]"	<temperature>	(Weather_Chart)		["Measurement", "Temperatur"]	{channel="gardena:sensor:xxxx", influxdb="temperature"}
Number:Temperature ShellyHTBedroomTemp			"Temperatur [%.1f °C]"	<temperature>	(Shelly_Temperature_Chart)	["Measurement", "Temperature"]	{channel="shelly:shellyht:xxxx", influxdb="temperature"}
Number:Temperature ShellyHTHomeOfficeTemp		"Temperatur [%.1f °C]"	<temperature>	(Shelly_Temperature_Chart)	["Measurement", "Temperature"]	{channel="shelly:shellyht:xxxx", influxdb="temperature"}

Number Weather_Temperature		"Temperatur Sensor Garage [%.1f °C]"	<temperature>	(Weather, Weather_Chart, eLuna131)	["Measurement", "Temperature"]	{channel="knx:device:xxxx"}

Das seltsame: Ich habe für sehr viele Items (nicht nur diese 4) Werte für gestern Abend - ca. 22:00 - was dem Zeitpunkt der Konfiguration und einem Naustart von openHAB entspricht. Manchmal nur 1 Wert, vereinzelt aber auch über einen Zeitraum von 10-15 Min. Seitdem ist in der openHAB Datenbank "Schweigen im Walde" und es kommen keine Werte mehr :-/

Die evcc Datenbank wird weiter gefüllt, somit scheint influxDB an sich zu laufen.

Ist dieses Phänomen evtl. bekannt?

Viele Grüße,

[KellerK1nd]

Was sagt denn das Log von openhab? Normal meckert openhab, wenn es nicht schreiben kann/darf.

Im Ordner Service ist die influxdb.cfg richtig konfiguriert?

Code: Alles auswählen

url=http://192.168.178.219:8086
user=openhab
password=***********
db=openhab3
retentionPolicy=autogen

Bei der influxdb.persist würde ich noch mehr Änderungen triggern lassen:

Code: Alles auswählen

// InfluxDB persistence service
// persistence strategies have a name and a definition and are referred to in the "Items" section
Strategies
{
    everyMinute : "0 * * * * ?"
    everyHour : "0 0 * * * ?"
    everyDay : "0 0 0 * * ?"
	
    // if no strategy is specified for an item entry below, the default list will be used
    default = everyChange
}

/* 
 * Each line in this section defines for which item(s) which strategy(ies) should be applied.
 * You can list single items, use "*" for all items or "groupitem*" for all members of a group
 * item (excl. the group item itself).
 */
Items
{
    Weather_Temperature : strategy = everyChange, everyMinute, everyUpdate
    temperature : strategy = everyChange, everyMinute, everyUpdate
}

[int5749]

Was sagt denn das Log von openhab? Normal meckert openhab, wenn es nicht schreiben kann/darf.

Im log ist alles grün, kein meckern zu sehen

Im Ordner Service ist die influxdb.cfg richtig konfiguriert?

Ich habe dies unter OH3 laufen, daher keine influxdb.cfg Nach bestem Wissen und Gewissen in der MainUI konfiguriert. Version 1.x gewählt, user/password, IP zu DB und DB. Es sind ja auch - nun völlig veraltete und zudem falsche - Werte dort vorhanden, zumindest lauf Grafana, da ich noch keine Möglichkeit gefunden habe die Daten mal zu betrachten.

Bei der influxdb.persist würde ich noch mehr Änderungen triggern lassen:

Code: Alles auswählen

// InfluxDB persistence service
// persistence strategies have a name and a definition and are referred to in the "Items" section
Strategies
{
    everyMinute : "0 * * * * ?"
    everyHour : "0 0 * * * ?"
    everyDay : "0 0 0 * * ?"
	
    // if no strategy is specified for an item entry below, the default list will be used
    default = everyChange
}

/* 
 * Each line in this section defines for which item(s) which strategy(ies) should be applied.
 * You can list single items, use "*" for all items or "groupitem*" for all members of a group
 * item (excl. the group item itself).
 */
Items
{
    Weather_Temperature : strategy = everyChange, everyMinute, everyUpdate
    temperature : strategy = everyChange, everyMinute, everyUpdate
}

Baue ich gleich mal ein.