hibiscus Dubletten Finder

[gartenfee]

Hallo Sven,

zwecks einfacher Liquiditätsplanung in Hibiscus habe ich im Forum dort
(https://homebanking-hilfe.de/forum/topi ... real147200) gestern folgendes Procedere vorgeschlagen, bei dem im Schritt 4 ein möglichst fehlerfreies Funktionieren deines Dubletten-Plugins notwendig ist:

Schritt 1: einfach eine extra Umsatzkategorie für erwartete/geplante Umsätze erstellen (kann man dann natürlich ggfs auch noch nach privat/geschäftlich oder den einzelnen Konten etc aufdröseln, wie mans halt grad zur Auswertung braucht)
Schritt 2: die jeweiligen zukünftigen Buchungen dann einfach in die jew. (z.T. vorübergehend offline geschalteten) Konten einzutragen und
Schritt 3: diese dann dieser Extra-Kategorie zuzuweisen.
[...]
Schritt 4: Und wenn von diesen Buchungen dann real welche passiert sind, dann taucht die ja doppelt in der Umsatzübersicht auf, was sich dann aber rel. easy mithilfe des Dubletten-Plugins herausfiltern lassen sollte, und dann heißts halt einfach regelmäßig die entsprechenden Einträge aus der Dubletten-Liste zulöschen.

Nun habe ich bei Schritt 4 leider folgendes Verhalten des Dubletten-Plugins beobachten müssen (nachdem ich
alle zukünftigen Umsätze aufgrund ihrer großen Anzahl per CSV importiert hatte und diese dabei auch gleichzeitig kategorisiert wurden):

A) mir werden Buchungen, die vom selben Gegenkonto und mit gleichem Betrag aber verschiedenem Verwendungszweck als Dubletten (jedoch mit Verweis auf Ähnlichkeitsgrad "mittel") angezeigt. Diese würde ich gerne irgendwie ausblenden können bzw. irgendwo definieren, ab welchem Ähnlichkeits/verschiedenheitsgrad Dubletten überhaupt angezeigt werden dürfen.

B) Dagegen wurden echte Dubletten, die zu 100% identisch sind, gar nicht aufgelistet. Dies erachte ich als einen kritischen Bug.

Ich nutze das Jameica-Komplettpaket (Jameica-Version 2.8.4) incl Hibiscus (V 2.8.13) und nachträglich installiertem Dubletten-Plugin (V 1.0.2) unter Debian 10/Testing (mit Cinnamon; alle Pakete auf heutigen Stand geupgraded)

Hättst du zur Zeit oder in nächster Zeit Kapazitäten dich dieser Baustelle anzunehmen? Das würde sicher auch sehr viele andere Hibiscus-User riesig freuen

Herzlichen Dank im Voraus,
Sarah

[gartenfee]

Nachtrag:
falls/sobald der Bug irgendwann gefixt sein wird, hätte ich für anschließend noch einen zweiten Verbesserungsvorschlag:

Nämlich nicht nur nach der Ähnlichkeit der Einträge filtern zu können, sondern auch eine Regel zu definieren, mit der z.B. alle manuell erstellten Umsätze, die eine ähnliche Dublette mit identischem Betrag und Gegenkonto sowie Datum innerhalb des selben Monats vorweisen, auf einmal markiert und anschließend mit 1 Mausklick oder per Del. Taste gelöscht werden können. So dass dann nur der reale, via Onlinebankingschnittstelle abgerufene Umsatzeintrag erhalten bleibt.

[little.yoda]

Hi

Ich muss mal schauen, was ich davon umsetze.

zu B) kannst du mir evtl. mal die Umsätze exportieren und mir per E-Mail schicken? Würde ich auch für ein klaren Bug halten.

Gruß,
Sven

[gartenfee]

Meine genauen Zahlen/Buchungsnamen sind denke ich fürs Bug umzingeln irrelevant (es kamen darin auch nirgends irgendwelche Sonderzeichen vor).

Um den unter B) genannten Bug zu rekonstruieren, brauchst du darum in hibiscus einfach nur einmal bei einem neuen Offline geschalteten Konto ein, zwei beliebige fiktive Umsätze manuell erstellen, danach per csv exportieren; in dieser dann mit libreoffice o.ä. evtl. noch händisch was hinzufügen (hab ich jedenfalls für schritt 3 so gemacht, weil mir das in hibiscus sonst zu mühsam war) und diese CSV Tabelle dann mitsamt der zuerst manuell erstellten Umsätze wieder in hibiscus zu importieren.

Bei mir waren für die Beobachtung unter A) Umsätze mit identischem Betrag und Gegenkonto-Inhaber aber unterschiedlichem Verwendungszweck aber gleicher Kategorie dabei, deren Ähnlichkeitsgrad vom Dublettenfinder als "mittel" deklariert wurde.
Und bei den anderen, die in der Dublettenliste gar nicht erst auftauchten, waren sämtliche Einträge über alle Spalten hinweg komplett identisch. (ein Eintrag davon wurde jew. zuerst manuell erstellt und dann durch den CSV Import anschließend quasi versehentlich dupliziert)

Reicht dir das so erstmal?

Hab grad mal ne Gegenprobe gemacht - wenn ich alle Umsätze eines Kontos als CSV Liste exportiere und dann genau diese Liste unverändert wieder importiere, dann krieg ich diesmal nur einen einzigen ähnlichen Umsatz und ansonsten nur ein paar der 100% identischen, aber nur aus der der Kategorie "Erwartete Umsätze" korrekt aufgelistet. Obwohl ein Teil dieser Umsätze händisch angelegt wurde, ein anderer Teil direkt via HBCI vom Bankserver geholt wurde.
Ich verstehs grad nicht mehr bzw sehe kein einheitliches Muster mehr in den Dubletten-Ergebnissen..

Außerdem finde ichs sehr verwirrend bzw. die Dubletten-Kontrolle bzw richtige Auswahl vor dem Löschen sehr erschwerend, dass in der Dublettenansicht nun in der Spalte "Konto" statt des Gegenkonto-Inhabers nun überall der Name MEINES Kontos steht, obwohl in der normalen Umsatz-Liste an dieser Stelle der Gegenkonto-Inhaber zu sehen ist.

[gartenfee]

Heute kam bei der HBCI-Abfrage wieder ein Kontoumsatz auf meinem Giro herein, den ich in Hibiscus dort zuvor schon als erwarteten Umsatz manuell angelegt hatte (Lohneingang).

Das Dublettenplugin weigert sich aber inständig beide Einträge als Dubletten zu erkennen. Genau das soll es aber.
Habe nachträglich nun zwecks Eingrenzen der Ursache den Gegenkontoinhaber, die zugewiesene Kategorie und Notiz beim manuell angelegten Umsatz zu 100% dem via HBCI abgerufenen angeglichen. Trotzdem bleibt die Dubletten-Ergebnisliste immer noch gähnend leer. Daran ändert auch ein Neustart von Jameica kein bisschen was.

Dagegen hat er mir die beim letzten CSV Import versehentlich gedoppelten, zukünftigen und alle zuvor in LibreOffice erstellten Einträge zu 100% korrekt als Dubletten erkannt.

Das ist echt zum Mäuse melken...

[little.yoda]

Meine genauen Zahlen/Buchungsnamen sind denke ich fürs Bug umzingeln irrelevant (es kamen darin auch nirgends irgendwelche Sonderzeichen vor).

Wenn ich um so etwas bitte, hat es schon einen Grund. Ich mache das alles in meiner Freizeit und möchte die Zeit für das Bugsuchen minimieren. Alleine schon bei deinem geschliderten Weg gibt es x-Einstellungen bei dem CSV-Import die unterschiedlich sein können.

Ich habe es jetzt trotzdem mal mit deiner Beschreibung ausprobiert und bei mir werden die importierte Datensätze sauber als Duplikate.

Bei mir waren für die Beobachtung unter A) Umsätze mit identischem Betrag und Gegenkonto-Inhaber aber unterschiedlichem Verwendungszweck aber gleicher Kategorie dabei, deren Ähnlichkeitsgrad vom Dublettenfinder als "mittel" deklariert wurde.

Richtig. Ein Grund für die Entwicklung des Plugin war es, dass bei diversen Kreditkarten Anbieter sich der Verwendungszweck immer mal wieder ändert (zusätzliche Informationen, andere Reihenfolge, ...). Aus diesem Grund werden auch gleiche EInträge mit unterschiedlichen Verwendungszwecken als mögliche Duplikate markiert.

Außerdem finde ichs sehr verwirrend bzw. die Dubletten-Kontrolle bzw richtige Auswahl vor dem Löschen sehr erschwerend, dass in der Dublettenansicht nun in der Spalte "Konto" statt des Gegenkonto-Inhabers nun überall der Name MEINES Kontos steht, obwohl in der normalen Umsatz-Liste an dieser Stelle der Gegenkonto-Inhaber zu sehen ist.

Auch historisch. Da die Kreditkarten-Plugins das Gegenkonto mangels Information in der Regel leer lassen, war diese Spalte uninteressant.


Ich habe gerade in den Algorithmus geschaut:

Voraussetzungen, damit es überhaupt angezeigt wird:
- Beide Buchungen müssen auf dem gleichen Konto sein
- Beide Buchungen müssen das gleiche Datum haben
- Beide Buchungen müssen das gleiche Gegenkonto haben
- Der Buchungsbetrag muss mindestens ein Cent betragen
- Wenn die Buchungen direkt hintereinander in Hibiscus sind (siehe # Spalte abs(id1 - id2) < 2), dann wird automatisch die Wahrscheinlichkeit für Duplikate gesenkt, da ich davon ausgehe, dass beide Einträge von dem Plugin direkt in einem Durchlauf eintragen wurden.

Gruß,
Sven

[gartenfee]

Hallo lieber Sven,

Ich habe gerade in den Algorithmus geschaut:

Voraussetzungen, damit es überhaupt angezeigt wird:
- Beide Buchungen müssen auf dem gleichen Konto sein
- Beide Buchungen müssen das gleiche Datum haben
- Beide Buchungen müssen das gleiche Gegenkonto haben
- Der Buchungsbetrag muss mindestens ein Cent betragen
- Wenn die Buchungen direkt hintereinander in Hibiscus sind (siehe # Spalte abs(id1 - id2) < 2), dann wird automatisch die Wahrscheinlichkeit für Duplikate gesenkt, da ich davon ausgehe, dass beide Einträge von dem Plugin direkt in einem Durchlauf eintragen wurden.

Danke dir vielmals fürs Heraussuchen/Auflisten. Ich habe gerade deine Voraussetzungen nochmal eine nach der anderen nachgeprüft. Und dabei herausgefunden, wo nun der Hase im Pfeffer lag:

Nur wenn Buchungskonto, Datum, Gegenkonto-Inhaber, Betrag, UND IBAN des Gegenkontos UND das erste Zeichen des Verwendungszwecks beider Umsätze identisch sind, erst dann erscheinen sie bei mir überhaupt in der Dublettenliste.

Der fünfte Punkt deiner Liste trifft in meinem Fall nicht zu (Prognose hat die ID 1462, der tatsächliche Umsatz die ID 1979.)

Dank deiner Liste weiß ich nun, nach welchen Kriterien ich meine Umsatz-Prognosen nun überarbeiten muß, damit dein ansonsten schon sehr gutes Plugin danach mit meinen Daten (hoffentlich) auch macht, was es soll. (Und ich sehe ja auch, dass es noch in einem rel. frühen Entwickungsstand ist und habe auch großen Respekt davor, wenn jemand dergleichen ausschließlich in seiner Freizeit und noch dazu ehrenamtlich/auf Spendenbasis auf die Beine stellt!)