Job Scheduler

Zipping of scheduler.log on startup

Details

  • Type: Improvement Improvement
  • Status: Closed Closed
  • Priority: Major Major
  • Resolution: Fixed
  • Affects Version/s: 1.3.1
  • Fix Version/s: 1.3.2
  • Component/s: Job Scheduler Binaries
  • Description:
    Hide

    Hallo Joacim,

    das Feature macht nur Probleme, da es bei großen Log-Dateien ewig dauert und dabei die Dienststartzeiten unter Windows überschreitet. Im Effekt ist jetzt leider mehrfach aufgetreten, dass der Job Scheduler überhaupt nicht mehr automatisch startet, wenn eine Log-Datei größer wird, z.B. tritt das Problem bereits bei 400 MB Dateigröße auf.

    Kannst du das Feature bitte per Default abschalten und über eine Option in factory.ini einschaltbar halten? Wenn zu umständlich, dann bitte einfach nur das Feature rauswerfen.

    Gruß
    Andreas

    -------

    Hallo Joacim,

    dazu fällt mir noch etwas anderes: das Problem tritt natürlich deshalb auf, weil der Dienst nicht als gestartet gilt solange er sein Log-File packt.

    Weshalb erfolgt das Packen bereits während der Startphase des Dienstes? Würde zuerst der Dienst gestartet und danach das Log File gezippt, dann wäre das Problem gelöst und das feature kann bleiben.

    Gruß
    Andreas

    -------

    Hallo Andreas,

    die Implementierung ist einfach: Vor dem Öffnen der scheduler.log wird die vorhandene gezippt. Die scheduler.log wird natürlich früh geöffnet, um den Start zu protokollieren.

    Vorschlag: Der Scheduler benennt die Datei um (hängt einen Suffix ran) und zippt sie dann in aller Ruhe in einem (unter Windows) niedrig priorisierten Thread weg, während er ohne Verzögerung startet und bereit ist. Dann brauchen wir vielleicht auch nicht den factory.ini-Schalter.

    Oder einfacher: Erst umbenennen, dann Dienst starten, dann zippen. Ohne Thread, dafür mit ordentlicher Protokollzeile. Während des Zippens ist der Scheduler nicht erreichbar.

    Gruß
    Joacim

    ---------

    Hallo Joacim,

    der erste Vorschlag ist m.E. besser: da der Scheduler sehr viel ins Log schreibt, entstehen beim Betrieb über mehrere Wochen sehr große Logs (auch ohne Debug-Level). Man wundert sich dann immer, weshalb die Software mehrere Minuten braucht, um mit Jobs loszulegen. Dieses Problem wären wir damit los.

    Mit welchem Aufwand und welchem Timing unter Berücksichtigung der anderen Implementierungsaufgaben kannst du das machen?

    Gruß
    Andreas

    Show
    Hallo Joacim, das Feature macht nur Probleme, da es bei großen Log-Dateien ewig dauert und dabei die Dienststartzeiten unter Windows überschreitet. Im Effekt ist jetzt leider mehrfach aufgetreten, dass der Job Scheduler überhaupt nicht mehr automatisch startet, wenn eine Log-Datei größer wird, z.B. tritt das Problem bereits bei 400 MB Dateigröße auf. Kannst du das Feature bitte per Default abschalten und über eine Option in factory.ini einschaltbar halten? Wenn zu umständlich, dann bitte einfach nur das Feature rauswerfen. Gruß Andreas ------- Hallo Joacim, dazu fällt mir noch etwas anderes: das Problem tritt natürlich deshalb auf, weil der Dienst nicht als gestartet gilt solange er sein Log-File packt. Weshalb erfolgt das Packen bereits während der Startphase des Dienstes? Würde zuerst der Dienst gestartet und danach das Log File gezippt, dann wäre das Problem gelöst und das feature kann bleiben. Gruß Andreas ------- Hallo Andreas, die Implementierung ist einfach: Vor dem Öffnen der scheduler.log wird die vorhandene gezippt. Die scheduler.log wird natürlich früh geöffnet, um den Start zu protokollieren. Vorschlag: Der Scheduler benennt die Datei um (hängt einen Suffix ran) und zippt sie dann in aller Ruhe in einem (unter Windows) niedrig priorisierten Thread weg, während er ohne Verzögerung startet und bereit ist. Dann brauchen wir vielleicht auch nicht den factory.ini-Schalter. Oder einfacher: Erst umbenennen, dann Dienst starten, dann zippen. Ohne Thread, dafür mit ordentlicher Protokollzeile. Während des Zippens ist der Scheduler nicht erreichbar. Gruß Joacim --------- Hallo Joacim, der erste Vorschlag ist m.E. besser: da der Scheduler sehr viel ins Log schreibt, entstehen beim Betrieb über mehrere Wochen sehr große Logs (auch ohne Debug-Level). Man wundert sich dann immer, weshalb die Software mehrere Minuten braucht, um mit Jobs loszulegen. Dieses Problem wären wir damit los. Mit welchem Aufwand und welchem Timing unter Berücksichtigung der anderen Implementierungsaufgaben kannst du das machen? Gruß Andreas

Activity

Hide
Andreas Püschel added a comment - 26 August 2007 23:07

Wie ist diese Funktion jetzt implementiert?

Im change log (2.0.180.5139 2007-07-23 ) steht: When creation of the scheduler.log.gz cannot run in the background, then the Job Scheduler does not create it at all, because this delays starting too much.

Jetzt weiß ich aber immer noch nicht, wann das im Hintergrund erfolgt und wann nicht. Was passiert unter Windows? Was passiert unter Unix?

Kannst du bitte einen Hinweis auf das Zippen in die Doku unter J:\Data\doku\en\scheduler\doc\protokolle.xml aufnehmen.

Show
Andreas Püschel added a comment - 26 August 2007 23:07 Wie ist diese Funktion jetzt implementiert? Im change log (2.0.180.5139 2007-07-23 ) steht: When creation of the scheduler.log.gz cannot run in the background, then the Job Scheduler does not create it at all, because this delays starting too much. Jetzt weiß ich aber immer noch nicht, wann das im Hintergrund erfolgt und wann nicht. Was passiert unter Windows? Was passiert unter Unix? Kannst du bitte einen Hinweis auf das Zippen in die Doku unter J:\Data\doku\en\scheduler\doc\protokolle.xml aufnehmen.
Hide
Joacim Zschimmer added a comment - 27 August 2007 08:55

Der Scheduler zippt die scheduler.log nicht mehr. Du batest drum, das auszubauen.

Gruß
Joacim Zschimmer

Show
Joacim Zschimmer added a comment - 27 August 2007 08:55 Der Scheduler zippt die scheduler.log nicht mehr. Du batest drum, das auszubauen. Gruß Joacim Zschimmer
Hide
Andreas Püschel added a comment - 27 August 2007 09:01

Hallo Joacim,

genau das ist das Problem: der Job Scheduler zippt Log-Dateien wie bisher. ich habe das anhand des gestrigen Stands für Windows reproduziert.

Kannst du das Zippen bitte zunächst wie im issue aufgeführt abstellen.

Show
Andreas Püschel added a comment - 27 August 2007 09:01 Hallo Joacim, genau das ist das Problem: der Job Scheduler zippt Log-Dateien wie bisher. ich habe das anhand des gestrigen Stands für Windows reproduziert. Kannst du das Zippen bitte zunächst wie im issue aufgeführt abstellen.
Hide
Andreas Püschel added a comment - 27 August 2007 12:35

Abschließende Klärung: der Scheduler zippt aktuell keine Logs mehr. Verwendet man dagegen scheduler.dll für das Debugging, dann wird das bisherige Verhalten beibehalten.

Die Überarbeitung der Zip-Funktion für Logs erfolgt für Release 1.3.4

Show
Andreas Püschel added a comment - 27 August 2007 12:35 Abschließende Klärung: der Scheduler zippt aktuell keine Logs mehr. Verwendet man dagegen scheduler.dll für das Debugging, dann wird das bisherige Verhalten beibehalten. Die Überarbeitung der Zip-Funktion für Logs erfolgt für Release 1.3.4

People

Dates

  • Due:
    20/Jul/07
    Created:
    12 July 2007 22:03
    Updated:
    27 August 2007 12:35
    Resolved:
    27 August 2007 12:35