Hibiscus Saldenabfrage bei einigen Sparkassen unglaublich langsam

 
cfi
Benutzer
Avatar
Geschlecht: keine Angabe
Beiträge: 12
Dabei seit: 03 / 2011
Betreff:

Re: Hibiscus Saldenabfrage bei einigen Sparkassen unglaublich langsam

 · 
Gepostet: 29.08.2016 - 19:12 Uhr  ·  #201
Rückmeldung Sparkasse Mainfranken:

Software-Version: 2.7.0-nightly
Datenbank-Version: 59
Build: 1354 [Datum 20160829]

zu 1)

UPD 1175 Datensätze
BPD 2294 Datensätze

zu 2)
Test

1. Abrufen mit Verzögerung
2. Abrufen ohne Verzögerung


zu 3)
Wurden ja vorher schon angezeigt.
UPD 1175 Datensätze
BPD 2294 Datensätze

4) Log-File wurde per Mail gesendet. Verzögerung bei 18:48:21 10 Sekunden bei
Code
[Mon Aug 29 18:48:21 CEST 2016][DEBUG][de.willuhn.jameica.hbci.AbstractHibiscusHBCICallback.status] parse empfangene Antwortnachricht (DialogInitRes)
[Mon Aug 29 18:48:31 CEST 2016][DEBUG][de.willuhn.jameica.hbci.HBCICallbackSWT.log] extracting data from received message
Benutzer
Avatar
Geschlecht: keine Angabe
Herkunft: Leipzig
Homepage: willuhn.de/
Beiträge: 10063
Dabei seit: 03 / 2005
Betreff:

Re: Hibiscus Saldenabfrage bei einigen Sparkassen unglaublich langsam

 · 
Gepostet: 29.08.2016 - 20:50 Uhr  ·  #202
Danke cfi. In Schritt 4 meinte ich aber nicht das normale jameica.log sondern das HBCI-Protokoll. Siehe die Beschreibung in meinem Posting in Schritt 4.
Benutzer
Avatar
Geschlecht: keine Angabe
Herkunft: Leipzig
Homepage: willuhn.de/
Beiträge: 10063
Dabei seit: 03 / 2005
Betreff:

Re: Hibiscus Saldenabfrage bei einigen Sparkassen unglaublich langsam

 · 
Gepostet: 30.08.2016 - 11:05 Uhr  ·  #203
Ich denke, ich kann es jetzt anhand der HBCI-Traces reproduzieren.
Es ist scheinbar tatsaechlich das HIUPD-Segment. Das wird von der Bank übertragen und dort drin ist eine Liste der Geschaeftsvorfaelle, die dieses Konto erlaubt. Die Liste darf bis zu 999 Elemente enthalten. Ich nehme an, bei den alten HBCI-Servern (HBCI 2.2) folgte dahinter nichts mehr. Bei den neuen HBCI-Servern (FinTS3) wird da jetzt noch ein weiteres Element namens "Erweiterung, kontobezogen". Das hat zur Konsequenz, dass die Bank die 999 Elemente jetzt mit Platzhaltern auffuellen muss. Jedes "+" steht hierbei fuer eine Datenelement-Gruppe mit einem erlaubten Geschaeftsvorfall. Allerdings steht gar nichts drin. HBCI4Java initialisiert trotzdem erstmal den Parser fuer eine gesamte Element-Gruppe. Um dann festzustellen, dass nichts zu parsen ist. Der relevante Teil sieht dann so aus:

Code

HIUPD:6:6:.....+HKSAK:1+HKISA:1+HKSSP:1+DKPAE:1+DKPSA:1+DKPSP:1+HKPAE:1+HKTSY:1+HKTAB:1+HKTAU:1+HKTAZ:1+HKSPA:1+HKCAZ:1+HKTAN:1+DKANA:1+DKANL:1+HKFRD:1+HKKDM:1+HKKAZ:1+HKSAL:1++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++foobar'


Das sind die Infos fuer ein einzelnes Konto.
Zum Vergleich: Habe ich 4 solcher Konten, dann dauert das Parsen der Nachricht 2,3 Sekunden. Entferne ich die "+"-Symbole aus der Nachricht, dauert der selbe Vorgang rund 1/3 Sekunden. Bei entsprechend vielen Konten multipliziert sich das. Ich nehme an, von dem Problem sind im Prinzip alle Sparkassen-User betroffen. Da es sich aber mit der Anzahl der Konten verstaerkt, verlangsamt es sich bei den meisten (die vielleicht max. 3 Konten haben) nicht in dem Umfang.

Ich werde versuchen, HBCI4Java so umzubauen, dass es solche leeren Element-Gruppen erkennen kann, *bevor* es versucht, diese zu analysieren. Das sollte das Problem beheben.
Benutzer
Avatar
Geschlecht: keine Angabe
Beiträge: 78
Dabei seit: 03 / 2016
Betreff:

Re: Hibiscus Saldenabfrage bei einigen Sparkassen unglaublich langsam

 · 
Gepostet: 30.08.2016 - 11:09 Uhr  ·  #204
Schon mal ganz herzlichen Dank für soviel Einsatz!
cfi
Benutzer
Avatar
Geschlecht: keine Angabe
Beiträge: 12
Dabei seit: 03 / 2011
Betreff:

Re: Hibiscus Saldenabfrage bei einigen Sparkassen unglaublich langsam

 · 
Gepostet: 30.08.2016 - 14:28 Uhr  ·  #205
Ich habe nun mit folgender Version gestetet:

Software-Version: 2.7.0-nightly
Datenbank-Version: 59
Build: 1356 [Datum 20160830]

Die Verzögerung ist nun weg :D und folgender Fehler wird ausgegeben:

Code
[Tue Aug 30 14:21:05 CEST 2016][ERROR][de.willuhn.jameica.hbci.HBCICallbackSWT.log] org.kapott.hbci.exceptions.CanNotParseMessageException: HNHBK:1:3+000000001193+300+841647481904...


Sieht sehr gut aus, Umsätze wurden abgerufen.

Vielen Dank.
Benutzer
Avatar
Geschlecht: keine Angabe
Herkunft: Leipzig
Homepage: willuhn.de/
Beiträge: 10063
Dabei seit: 03 / 2005
Betreff:

Re: Hibiscus Saldenabfrage bei einigen Sparkassen unglaublich langsam

 · 
Gepostet: 30.08.2016 - 14:29 Uhr  ·  #206
Aktualisiere nochmal ;)
Benutzer
Avatar
Geschlecht: keine Angabe
Beiträge: 78
Dabei seit: 03 / 2016
Betreff:

Re: Hibiscus Saldenabfrage bei einigen Sparkassen unglaublich langsam

 · 
Gepostet: 30.08.2016 - 14:37 Uhr  ·  #207
Perfekt! Rasante 12 Sekunden... Alles durchgelaufen. Wie früher! Jetzt bau ich mal die Masse der Konten mit ein :D
Benutzer
Avatar
Geschlecht: keine Angabe
Herkunft: Leipzig
Homepage: willuhn.de/
Beiträge: 10063
Dabei seit: 03 / 2005
Betreff:

Re: Hibiscus Saldenabfrage bei einigen Sparkassen unglaublich langsam

 · 
Gepostet: 30.08.2016 - 14:38 Uhr  ·  #208
Ich denke, es ist geschafft!
Ladet euch das aktuelle Nightly-Build von Hibiscus (bereits verfügbar - also nicht erst morgen) und die Sache sollte wieder gehen.

Zum Hintergrund
Es sind nicht nur manche Sparkassen betroffen sondern alle. Unabhängig von Betriebssystem, Java-Version oder anderen Faktoren. Mein Zugang war also ebenfalls betroffen - mir ist es nur nicht aufgefallen, weil sich das bei 2-3 Konten im Bereich von 2-3 Sekunden bewegt. Hat man jedoch mehr Konten, potenziert sich die Zeit, da bei der Synchronisierung JEDES Kontos die UPD der gesamten Benutzerkennung - und damit auch aller darin vorhandener Konten - geliefert wird. Hat man also z.Bsp. 30 Konten und synchronisiert alle, dann erzeugte das 30 x 30 Sekunden Wartezeit.

Das Problem entstand - wie ich bereits in Posting 203 schrieb, durch die lange Reihe leere Datenelement-Gruppen. Die Umsetzung dafür war ziemlich tricky. Aber sie scheint zu funktionieren. Das Laufzeit-Verhalten sollte jetzt wieder so wie vorher sein.

Unabhängig davon
Die Bank ist leider auch nicht ganz unschuldig. Denn es ist in der Tat so, dass die Sparkassen in den UPDs jetzt keine sinnvolle Versionsnummer mehr mitschicken sondern generell nur "0". Ich habe das mit meinem eigenen Konto verifzieren können. Da die Banking-Anwendung bei der Dialog-Initialisierung ja die lokale UPD-Version mitsenden soll, bleibt HBCI4Java nichts anderes übrig, als eben die Version "0" wieder zurückzumelden. "0" steht aber als Platzhalter für "Ich habe noch keine UPD". Daher sendet der Server die UPDs jetzt jedes mal erneut. Allein dieser Umstand verursacht schon unnötigen Aufwand. Durch das ineffiziente Parsen der Daten bei Vorhandensein der vielen "+++++" in HBCI4Java kommen hier, also zwei unschöne Umstände zusammen.

Hibiscus kann damit jetzt zwar ordentlich umgehen. Dennoch wäre es aus meiner Sicht sinnvoll, wenn die Sparkassen mal pauschal die UPD-Version aller User auf "1" setzen würden, wo sie bisher "0" senden. Die tun sich da nämlich selbst keinen Gefallen, weil sie die UPD ja selbst jedesmal neu ausliefern müssen. Heisst: Erst sagt der Server: "Hier haste neue UPD, Version ist 0". Und wenn man dann zurückmeldet, dass man Version "0" hat, denkt der Server "Oh, der User hat ja noch keine UPD, also schick ich sie ihm mal".
cfi
Benutzer
Avatar
Geschlecht: keine Angabe
Beiträge: 12
Dabei seit: 03 / 2011
Betreff:

Re: Hibiscus Saldenabfrage bei einigen Sparkassen unglaublich langsam

 · 
Gepostet: 30.08.2016 - 14:38 Uhr  ·  #209
Gemacht:


Software-Version: 2.7.0-nightly
Datenbank-Version: 59
Build: 1357 [Datum 20160830]

Fehler
Code
[Tue Aug 30 14:21:05 CEST 2016][ERROR][de.willuhn.jameica.hbci.HBCICallbackSWT.log] org.kapott.hbci.exceptions.CanNotParseMessageException:


ist nun weg.

Danke
Benutzer
Avatar
Geschlecht:
Beiträge: 6691
Dabei seit: 06 / 2008
Betreff:

Re: Hibiscus Saldenabfrage bei einigen Sparkassen unglaublich langsam

 · 
Gepostet: 30.08.2016 - 14:54 Uhr  ·  #210
@hibiscus
sollte das dann nicht gleich eine final werden, damit die anderen User keine Probs mehr melden, zumal das Problem hier ja auch schon behoben wurde.
Benutzer
Avatar
Geschlecht: keine Angabe
Herkunft: Leipzig
Homepage: willuhn.de/
Beiträge: 10063
Dabei seit: 03 / 2005
Betreff:

Re: Hibiscus Saldenabfrage bei einigen Sparkassen unglaublich langsam

 · 
Gepostet: 30.08.2016 - 15:03 Uhr  ·  #211
Zitat geschrieben von infoman

sollte das dann nicht gleich eine final werden, damit die anderen User keine Probs mehr melden, zumal das Problem hier ja auch schon behoben wurde.


Ja, ich will aber noch ein paar Tage warten, ob vielleicht noch irgendwelche Fehler hochkommen.
Benutzer
Avatar
Geschlecht: keine Angabe
Beiträge: 327
Dabei seit: 07 / 2005
Betreff:

Re: Hibiscus Saldenabfrage bei einigen Sparkassen unglaublich langsam

 · 
Gepostet: 30.08.2016 - 19:10 Uhr  ·  #212
Olaf, ganz vielen Dank für so einen vorbildlichen Einsatz.
Da kann sich jedes kommerzielle Programm eine Scheibe abschneiden...
Benutzer
Avatar
Geschlecht:
Beiträge: 49
Dabei seit: 08 / 2016
Betreff:

Re: Hibiscus Saldenabfrage bei einigen Sparkassen unglaublich langsam

 · 
Gepostet: 01.09.2016 - 11:56 Uhr  ·  #213
@hibiscus
Auch von mir einen Herzliches Dankeschön für deinen Einsatz.

Ich würde es gern testen, bekomme aber die nightly nicht richtig installiert es startet immer wieder meine Version 2.6.4. Jameica meldet zwar das ich das Programm zum ersten Mal starte und verlangt ein neues Master Kennwort, zeigt mir aber in /Hilfe/Über immer als Version die alte 2.6.4 an. Irgend etwas mache ich wohl falsch. Hab das alte Verzeichnis in /home/<username>/.jameica sicherheitshalber in /.jameica.old umbenannt, die nightly heruntergeladen, in ein neues Verzeichnis entpackt, und aus dem Terminal heraus installiert.
Egal ich warte einige Tage auf die Final Version.
Gruß Helmut
Benutzer
Avatar
Geschlecht:
Beiträge: 49
Dabei seit: 08 / 2016
Betreff:

Re: Hibiscus Saldenabfrage bei einigen Sparkassen unglaublich langsam

 · 
Gepostet: 03.09.2016 - 22:45 Uhr  ·  #214
Kurze Ergänzung,
unter LinuxMint18 gelingt mir die Installation der Nightly nicht, aber unter Windows10 hats geklappt.

Jameica:
Version: 2.7.0-nightly
SWT-Version: 4430 / win32
Java-Version: 1.8.0_101 / Windows 10 amd64
Build: 1518 [Datum 20160903]

Hibiscus:
Software-Version: 2.7.0-nightly
Datenbank-Version: 59
Build: 1361 [Datum 20160903]

Das aktualisieren meiner 8 Konten bei Volksbank BE-LP via HBCI Sicherheitsdatei dauert jetzt nur noch 60s.

Gruß Helmut
Benutzer
Avatar
Geschlecht: keine Angabe
Beiträge: 78
Dabei seit: 03 / 2016
Betreff:

Re: Hibiscus Saldenabfrage bei einigen Sparkassen unglaublich langsam

 · 
Gepostet: 06.09.2016 - 12:12 Uhr  ·  #215
Hatte auch in meiner gesicherten Kopie nicht den nightly build von Hibiscus drin. Das musste ich erst aktualisieren, dann funktionierte alles wie gewohnt
Benutzer
Avatar
Geschlecht:
Beiträge: 49
Dabei seit: 08 / 2016
Betreff:

Re: Hibiscus Saldenabfrage bei einigen Sparkassen unglaublich langsam

 · 
Gepostet: 07.09.2016 - 10:10 Uhr  ·  #216
Ich verstehe es nicht,
unter Windows gelingt mir die Installation der Nightlys einwandfrei, unter Mint18 nicht ums Verr....
Habe mein altes /home/user/.jameica Verzeichnis umbenannt. Beide Nightlys (jameica und hibiscus) heruntergeladen, die jameica-2.7.0-nightly-linux64.zip entpackt und aus dem Terminal heraus aufgerufen, Kennwort neu eingegeben und was ist: jameica läuft als 2.6.4, wenn ich dann das Plugin, hibiscus-2.7.0-nightly.zip, hinzufügen will bekomme ich die Meldung das es entweder schon installiert sei oder das Jameica in der falschen Version vorliegt. Ich gebs fast auf, kann eigentlich nichts falsch machen.
Merkt sich Mint18 irgendwelche anderen persönlichen Einstellungen, z.B. Startbefehle eines zuvor angelegten Starters der alten jameica Version und leitet darum die Befehle um?
Benutzer
Avatar
Geschlecht:
Beiträge: 6691
Dabei seit: 06 / 2008
Betreff:

Re: Hibiscus Saldenabfrage bei einigen Sparkassen unglaublich langsam

 · 
Gepostet: 07.09.2016 - 10:15 Uhr  ·  #217
die nightly muss doch, seit dem Update vom 06.09. (also 2.6.18), nicht mehr verwendet werden, denn die bisherige wurde ja zwischenzeitlich zur final
Benutzer
Avatar
Geschlecht:
Beiträge: 49
Dabei seit: 08 / 2016
Betreff:

Re: Hibiscus Saldenabfrage bei einigen Sparkassen unglaublich langsam

 · 
Gepostet: 07.09.2016 - 10:22 Uhr  ·  #218
Ok und danke für den Hinweis, da habe ich heute morgen wohl etwas übersehen. Nachher nochmal testen.
Ich frag mich nur warum es dann Tage zuvor nicht ging.
Melde mich später.
Benutzer
Avatar
Geschlecht: keine Angabe
Herkunft: Leipzig
Homepage: willuhn.de/
Beiträge: 10063
Dabei seit: 03 / 2005
Betreff:

Re: Hibiscus Saldenabfrage bei einigen Sparkassen unglaublich langsam

 · 
Gepostet: 07.09.2016 - 10:23 Uhr  ·  #219
Zitat geschrieben von kuehhe1

...und was ist: jameica läuft als 2.6.4, wenn ich dann das Plugin, hibiscus-2.7.0-nightly.zip, hinzufügen will bekomme ich die Meldung das es entweder schon installiert sei oder das Jameica in der falschen Version vorliegt. Ich gebs fast auf, kann eigentlich nichts falsch machen.


Ich koennte wetten, du hast Jameica und Hibiscus doppelt installiert. Einmal per manuellem Download von www.willuhn.de - und dann nochmal (und das ist vermutlich die Version, die dir dauernd angezeigt wird) nochmal als Ubuntu-Paket aus dem Repo von Dennis (https://launchpad.net/~dennis-benndorf/+archive/ubuntu/ppa)

Also deinstalliere eines von beiden - entweder die Ubuntu-Pakete oder die manuell installierten. Mit dem Benutzerordner ".jameica" hat das vermutlich nichts zu tun.
Benutzer
Avatar
Geschlecht:
Beiträge: 49
Dabei seit: 08 / 2016
Betreff:

Re: Hibiscus Saldenabfrage bei einigen Sparkassen unglaublich langsam

 · 
Gepostet: 07.09.2016 - 20:16 Uhr  ·  #220
Zitat geschrieben von hibiscus


Ich koennte wetten, du hast Jameica und Hibiscus doppelt installiert. Einmal per manuellem Download von www.willuhn.de - und dann nochmal (und das ist vermutlich die Version, die dir dauernd angezeigt wird) nochmal als Ubuntu-Paket aus dem Repo von Dennis (https://launchpad.net/~dennis-benndorf/+archive/ubuntu/ppa)

Also deinstalliere eines von beiden - entweder die Ubuntu-Pakete oder die manuell installierten. Mit dem Benutzerordner ".jameica" hat das vermutlich nichts zu tun.

Du hattest Recht, über die Anwendungsverwaltung war es außerdem installiert. Aber warum wurde das nicht automatisch nach dem Einfügen den neuen ppa-Quelle gelöscht? Meine Paketverwaltung hatte gesponnen, die Paketquellen waren doppelt eingetragen!? O-)

Ich hab jetzt folgenden Stand:
über die Anwendungsverwaltung nur Jameica installiert:

Version: 2.6.4
SWT-Version: 4430 / gtk
Java-Version: 1.8.0_91 / Linux amd64
Build: 0 [Datum 20160523]

anschließend Hibiscus 2.6.18 herunter geladen und nach dem ersten öffnen von Jameica als Plugin hinzugefügt:

Software-Version: 2.6.18
Datenbank-Version: 59
Build: 361 [Datum 20160906]

danach habe ich das letzte Datenbank-Backup importiert.
Das aktualisieren meiner acht (8) Konten dauert nunmehr nur 42s. :-)

Da mir diese Installation sehr umständlich vorkam, die Paketverwaltung hatte immer noch das alte hibiscus 2.6.16 im System, habe ich vor es morgen nach dieser Anleitung des sog. rundum Sorglos Paketes zu versuchen.

Edit: unter Windows10x64 war die Installation des Rundum-Sorglos-Paket erfolgreich und das hibiscus Plugin konnte ich auf die Version 18 updaten:
jameica:
Version: 2.6.4
SWT-Version: 4430 / win32
Java-Version: 1.8.0_101 / Windows 10 amd64
Build: 441 [Datum 20160502]

hibiscus:
Software-Version: 2.6.18
Datenbank-Version: 59
Build: 361 [Datum 20160906]
Gewählte Zitate für Mehrfachzitierung:   0