YADE-Dateien sind einfache Textdateien im CSV-Format oder Datenbanktabellen, die pro Server-System vorgehalten werden und in denen Shell Scripte einen Log-Eintrag generieren. Dieser Job importiert den Inhalt einer YADE-Datei oder -Datenbanktabelle
in eine zentrale Datenbank.
Eine YADE-Datei oder Datenbanktabelle muss folgende Felder beinhalten:
guid, mandator, transfer_start:Datetime('yyyy-mm-dd HH:MM:SS'), transfer_end:Datetime('yyyy-mm-dd HH:MM:SS'),
pid, ppid, operation, localhost, localhost_ip, local_user,
remote_host, remote_host_ip, remote_user, protocol, port,
local_dir, remote_dir, local_filename, remote_filename,
md5, status, last_error_message, log_filename, file_size
Der Feldmodifizierer :Datetime kann für andere Datumsformate der Eingabedatei angepasst werden. Beim Import aus Datenbanktabellen wird immer ein ISO-Zeitstempel verarbeiet.
Hinweis: Eine YADE-Datei oder Datenbanktabelle darf auch beliebig viele zusätzlichen Felder beinhalten.
Voraussetzung für Import von diesen zusätzlichen Felder in die Datenbank ist
dass in der Tabelle JADE_FILES_HISTORY gleichnamigen Spalten existieren.
Der Job speichert die Position und die Dateigröße des jeweils letzten YADE-Eintrags innerhalb der YADE-Datei in der Datenbank, um beim wiederholten Lesen der Datei nicht alle Einträge verarbeiten zu müssen.
YADE-Dateien können daher jederzeit geleert werden, falls sie aufgrund einer Vielzahl von Job-Läufen zu groß werden.
YADE files are simple text files in CSV format or database tables that are located in remote server systems. A YADE History is written per start of a shell script. This job imports the entries of a YADE History file or database table into a central database.
A YADE History file or database table must contain the following fields:
guid, mandator, transfer_start:Datetime('yyyy-mm-dd HH:MM:SS'), transfer_end:Datetime('yyyy-mm-dd HH:MM:SS'),
pid, ppid, operation, localhost, localhost_ip, local_user,
remote_host, remote_host_ip, remote_user, protocol, port,
local_dir, remote_dir, local_filename, remote_filename,
md5, status, last_error_message, log_filename, file_size
The field modifier :Datetime could be used to reflect different timestamp formats in input files. When importing from a database table ISO timestamp formats are automatically used.
Note: A YADE file or a database table can contain additional fields.
A condition for import of this additional fields into the data base is:
Table JADE_FILES_HISTORY has columns with the same names.
This job stores the position and the file size of the last YADE History entry within a YADE file in the database in order to avoid repeated processing of records. Therefore YADE files could be truncated at any time should they grow too large.