InformaTiger 
Tripel-As
Dabei seit: 19.02.2013
Beiträge: 228
Herkunft: Südtirol
 |
|
| Verarbeiten großer Datenmengen |
     |
Liebes Board,
ich beschäftige mich seit einiger Zeit mit der Verarbeitung von großen Datenmengen (> 2 Gigabyte); dabei kommt immer häufiger die Frage auf: wie geht man vernünftig mit den Daten um?
Ein Beispiel: ich möchte Dateien solcher Größe mit dem Verschlüsselungsverfahren AES verschlüsseln, dabei kann ich die Daten klarerweise schon mittels InputStream in den RAM laden den Cipher darüber jagen und dann wiederum in eine neue Datei speichern. Aber das erscheint mir wenig sinnvoll, denn Systeme mit weniger als 2 GB RAM müssen in diesem Fall kapitulieren.
Ein weiteres Beispiel wäre: ich möchte eine Datei ebenso größer als 2 GB über das Netzwerk an einen zweiten PC verschicken. In meinem Fall hätte ich aber ungern binär Daten weswegen ich ein Encodingverfahren wie Base64 würde. Die Datei müsste ich wiederum in den RAM laden, kodieren und anschließend auf der Netzwerkkarte an den zweiten PC schicken.
In beiden Fällen ist die Enddatei außerdem größer als die Quelldatei, da die AES Verschlüsselung einige Bytes an Padding hinzufügt und eine Base64 rein durch ihr Prinzip etwa 33% größer ist.
Das was mich an der Methode einfach z. B Kilobyte weise (1024 Byte) vorzugehen stocken lässt ist, dass ich in beiden Fällen pro Kilobyte einen Overhead von 16 Bytes bei AES und bei Base64 etwa 337 Bytes hätte. Und dies bläst die Enddatei auf 2 GB hochgerechnet ziemlich auf.
Mit freundlichen Grüßen
InformaTiger
__________________
Why do Java developers wear glasses? Because they can't C#
|
|
