Das dafür bereitgestellte PDF-Dokument kann unter Angabe der Anmeldenummer “102008060505″ [...]]]> Seit letztem Monat ist die Patentanmeldung mit dem Titel “Scheduling bei Mehrkernprozessoren” vom Deutschen Patent- und Markenamt (DPMA) offengelegt worden.

Das dafür bereitgestellte PDF-Dokument kann unter Angabe der Anmeldenummer “102008060505″ gefunden werden.

aktuell arbeite ich an einer dringend notwendigen neuen Dokumentation für Fiber Pool. Da leider die Zeit für Übersetzungen fehlt und vieles aus dem Source Code halbautomatisch in die Doku fließt, habe ich beschlossen, alles nur noch in Englisch zu verfassen.

Konsequenterweise werde ich auch diesen Blog in deutscher Sprache bald nicht mehr weiterpflegen und meine Gedanken [...]]]> Hallo allerseits,

aktuell arbeite ich an einer dringend notwendigen neuen Dokumentation für Fiber Pool. Da leider die Zeit für Übersetzungen fehlt und vieles aus dem Source Code halbautomatisch in die Doku fließt, habe ich beschlossen, alles nur noch in Englisch zu verfassen.

Konsequenterweise werde ich auch diesen Blog in deutscher Sprache bald nicht mehr weiterpflegen und meine Gedanken zukünftig in hoffentlich verständlichem Englisch (hängt vom Online-Übersetzer ab ) wiedergeben…

Gruß
George

ab heute ist Fiber Pool 1.0.0.21 verfügbar. Der Download ist wie immer über die übliche Seite möglich.

Neben einigen kleinen Features und Bugfixes bietet das Fiber Pool API nun auch eine (ausbaufähige) Socket-Klasse an, mit der man hochperformante Netzwerkanwendungen entwickeln kann.

Als “kleines” Sample dazu habe ich einen einfachen HTTP-Server bereitgestellt, der gleichzeitig auf mehreren Adressen auf Anfragen [...]]]> Hallo,

ab heute ist Fiber Pool 1.0.0.21 verfügbar. Der Download ist wie immer über die übliche Seite möglich.

Neben einigen kleinen Features und Bugfixes bietet das Fiber Pool API nun auch eine (ausbaufähige) Socket-Klasse an, mit der man hochperformante Netzwerkanwendungen entwickeln kann.

Als “kleines” Sample dazu habe ich einen einfachen HTTP-Server bereitgestellt, der gleichzeitig auf mehreren Adressen auf Anfragen reagieren kann und für jede Adresse mehrere virtuelle Server unterstützt.
Das HTTP-Protokoll Version 1.1 wird unterstützt, sodass Request-Pipelining möglich ist. Requests und Responses werden asynchron von den verfügbaren Prozessoren bearbeitet.
Aktuell werden zwar nur statische Seiten übertragen, sodass hauptsächlich der File I/O Scheduler zum Tragen kommt, evtl. kommt aber später noch eine Serverskriptsprache (z.B. PHP) hinzu, bei der die Prozessoren dann tatsächlich etwas zu tun kriegen.

Zu FLAC wollte ich eigentlich auch eine hybride CPU/GPU-Version herausbringen, allerdings hat das zeitlich nicht hingehauen. Ob es sie jemals geben wird, wird die (viel zu wenige) Zeit zeigen…

Ich möchte mit einem Algorithmus beginnen, mit dem man auf sehr einfache Weise die Eulersche Zahl e mit einem Computer genau berechnen kann. Als Rechenoperationen werden lediglich die Integer-Addition und die Shift-Operation benötigt.

Die Formel: Eine einfache Berechnung benötigt eine einfache [...]]]> Ich hatte es beim Start dieses Blogs angekündigt und heute wird es wahr: Der erste Artikel zur Mathematik!

Ich möchte mit einem Algorithmus beginnen, mit dem man auf sehr einfache Weise die Eulersche Zahl e mit einem Computer genau berechnen kann. Als Rechenoperationen werden lediglich die Integer-Addition und die Shift-Operation benötigt.

Die Formel:
Eine einfache Berechnung benötigt eine einfache Formel, und da Computer am liebsten mit Binärzahlen arbeiten, sollte die Formel dafür ausgelegt sein.

Man muss nicht lange nach so einer Formel suchen, denn es genügt, die Formel zur Berechnung von e, die wir aus der Schulmathematik kennen, nur leicht abzuwandeln, und zwar wie folgt:

Durch die Verwendung von 2ⁿ statt n, erhält man nun für ein beliebiges n immer einen Binärbruch als Basis und somit eine Zahl, die der Computer mag.

Die Dimensionen:
Der Basisbruch benötigt 1 Bit vor dem Komma und n Bits dahinter.

Da wir bereits wissen, dass e eine 2 vor dem Komma hat, wird das Ergebnis vor dem Komma zwei Bits benötigen.

Die Anzahl der Bits hinter dem Komma wird sich jedoch mit jeder Quadrierung verdoppeln. Und da n Quadrierungen durchgeführt werden müssen, lässt sich die Gesamtanzahl an Bits mit folgender Formel berechnen:

Für n=10 benötigt man etwa 10 kbits, für n=20 21 Mbits, für n=30 32 Gbits, für n=35 1,2 TBits und für n=58 (der maximale Wert bei 64-Bit-Adressierung) schlappe 16,7 Ebits (Exabits).

Der Algorithmus:
Das Quadrieren im Binärformat ist einfach. Betrachten wir dazu zunächst den allgemeinen Fall:

Man sieht, dass alle Summanden quadriert werden und zusätzlich alle Summanden paarweise miteinander multipliziert werden. Letztere Operation kommt beim Ausmultiplizieren zweimal vor, daher die 2 an jedem Term.

Übertragen auf eine Binärzahl, erhalten wir z.B.

Daraus können wir zwei Operationen für das Quadrieren ableiten:

1. Ist Bit n im Eingabewert auf 1 gesetzt, dann setze Bit 2n auf 1 im Ausgabewert.
2. Sind im Bitpaar (m, n), m<n, beide Bits auf 1 gesetzt, dann setze Bit m+n+1 auf 1 im Ausgabewert.

Das sog. “Setzen des Bits auf 1″ impliziert einen möglichen Übertrag: Ist das Bit bereits auf 1 gesetzt, so wird es auf 0 und das nachfolgende Bit auf 1 gesetzt.

Mit all den Sachen kann man schließlich den Algorithmus zur Berechnung von e als Pseudocode wie folgt beschreiben:

void euler(int n)
{
  Binary input;
  Binary output = 0;

        for (j = i + 1; j < input.length; ++j) {
          if (input[j])
            output.setBit(i + j + 1);
        }
      }
    }
  }
}


Tja, und das war's dann auch schon. Mehr als simple Arithmetik ist nicht nötig, um e zu berechnen.

Obwohl die Quantisierungs-Task mit hoher Priorität in den Fiber Pool hinzugefügt wurde, wurden sie und ihre Sub-Tasks in der alten Version erst dann ausgeführt, wenn andere Tasks mit ihrer Arbeit fertig waren.

Durch dieses Verhalten erreichten die Threads des Schedulers schnell die “Stop and Go”-Phase, in der [...]]]> In Version 1.0.0.16 habe ich in “fpmp3enc” den “vbr-new”-Algorithmus nochmals verbessert:

Obwohl die Quantisierungs-Task mit hoher Priorität in den Fiber Pool hinzugefügt wurde, wurden sie und ihre Sub-Tasks in der alten Version erst dann ausgeführt, wenn andere Tasks mit ihrer Arbeit fertig waren.

Durch dieses Verhalten erreichten die Threads des Schedulers schnell die “Stop and Go”-Phase, in der sie in sehr kurzen Abständen gestartet und gestoppt werden, was zu großen Performanceeinbußen führte. (Deswegen ist die Performance mit 4 Threads auch niedriger als mit 3.)

In der neuen Version kommunizieren nun die normal priorisierten Tasks mit dem Fiber Pool, um zu prüfen, ob Tasks mit hoher Priorität gestartet werden können. Wenn dem so ist, unterbrechen sie ihre Arbeit für das Ausführen der höher priorisierten Tasks.

Die “Stop and Go”-Phase wird auch hier erreicht, jedoch später, weil durch die neue Lastbalancierung die Threads effizienter genutzt werden können. Mehr als 3 Threads zu verwenden, wird aber weiterhin nicht empfohlen.

Die letzte Version hatte bereits einen Speedup von 2,14. Mit den durchgeführten Änderungen wird jetzt ein Speedup von 2,74 erreicht.

Mehr ist erstmal nicht drin…

Ich kann aber schon soviel sagen, [...]]]> Nach der Fertigstellung von ‘fpMP3Enc’ arbeite ich zur Zeit an einer generellen Streaming-Lösung namens ‘fpStream’. Ein Release dazu ist in den nächsten Wochen zwar noch nicht zu erwarten, weil ich noch den (Original-)Theora-Encoder integrieren möchte, dafür aber aktuell keine Zeit habe, weil ich noch an einem Artikel über asynchrone Programmierung brüte…

Ich kann aber schon soviel sagen, dass ‘fpStream’ ähnlich modular und erweiterbar wie DirectShow ist, nur dass Prozessor-, Datei- und Speichermanagement zentral von “Fiber Pool” verwaltet wird.

Bereits implementiert sind folgende Module:
- File Reader
- File Writer
- Console Writer
- MD5 sum
- WAV File Reader
- MP3 File Writer
- fpMP3Enc MP3 Encoder
- Original Vorbis Encoder
- Y4M File Reader
- Original Theora Encoder (in Arbeit)

Wie bei DirectShow kann man einen Graph aus den einzelnen Modulen bauen, und zwar (etwas umständlich) über die Kommandozeile, z.B.:

FPSTREAM readwavfile wav -f file.wav
+ fpmp3enc mp3enc_1 -s wav --vbr-new
+ fpmp3enc mp3enc_2 -s wav --cbr
+ writemp3file mp3_1 -s mp3enc_1 -f vbrfile.mp3
+ writemp3file mp3_2 -s mp3enc_2 -f cbrfile.mp3


Jedes Modul erhält einen Bezeichner (z.B. “wav”), der von anderen Modulen zum Verbinden über die Option “-s” verwendet wird. Das obige Beispiel erzeugt in einem Durchgang aus einer WAV-Datei zwei MP3-Dateien mit unterschiedlicher Kompression.

Wie gesagt, sobald Original-Theora integriert ist, gibt’s ein erstes Release dazu. Danach werde ich versuchen, eine multicore-fähige Version des Theora-Encoders zu implementieren.

Details, Infos und Benchmarks findet Ihr auf der neuen Website.

Viel [...]]]> Gute Nachrichten: Die Entwicklung des MP3-Encoders ist abgeschlossen.

Details, Infos und Benchmarks findet Ihr auf der neuen Website.

Viel Spaß damit!

In der aktuellen Version, die an bekannter Stelle zum Download bereitsteht, wird nun die MDCT-Phase asynchron ausgeführt.

Da MDCT im Vergleich zu den anderen Phasen relativ schnell berechnet wird, ist der Performancegewinn nicht besonders hoch. Auf meinem System lag er bei etwa 8%.

Die [...]]]> Die Entwicklung des Encoders schreitet leider nicht so schnell voran, jedoch sind kleine Fortschritte erkennbar.

In der aktuellen Version, die an bekannter Stelle zum Download bereitsteht, wird nun die MDCT-Phase asynchron ausgeführt.

Da MDCT im Vergleich zu den anderen Phasen relativ schnell berechnet wird, ist der Performancegewinn nicht besonders hoch. Auf meinem System lag er bei etwa 8%.

Die Portierung des seriellen in asynchronen Code habe ich in mehreren Schritten durchgeführt, die ich hier näher beschreiben möchte:

Ursprünglicher Zustand:
Die folgende Abbildung zeigt die MDCT-Phase beim Ausführen des seriellen Codes:

Aus den eingehenden Samples wird zunächst das psychoakustische Modell (PSY) berechnet, bevor darauf MDCT angewandt wird. Nach der MDCT wird der Quantisierer ausgeführt.

Die Abhängigkeiten sind wie folgt: Die MDCT ist abhängig von PSY, weil dort die Block Types (long/short) berechnet werden. Der Quantisierer ist abhängig von dem Ergebnis der MDCT.

Schritt 1: Erzeugen einer MDCT-Task
Für eine gute Basis zur MDCT-Parallelisierung werden nun alle Aktivitäten, die mit MDCT zu tun haben, in eine Task ausgegliedert:

Die wichtigste Änderung gegenüber dem ursprünglichen Zustand ist, dass die Task nun den MDCT-Zustand selbst (Subband-Samples) verwaltet und er nicht mehr in der globalen Datenstruktur gespeichert wird.

Obwohl es sich noch um eine parallel ausgeführte Task handelt, wird sie durch die eingesetzten Synchronisationsprimitiven seriell ausgeführt.

Schritt 2: Überlappende Berechnung der Subbänder
In der vorherigen Abbildung wurde schon angedeutet, dass die Berechnung der Subband-Samples nicht von PSY, sondern nur von den eingehenden Samples abhängig ist. Daher wird die MDCT-Task nun zusätzlich mit ihnen synchronisiert:

Die Subband-Samples eines Frames können nun parallel zum PSY berechnet werden.

Schritt 3: Überlappen mit dem Quantisierer
Die MDCT berechnet für ein Frame insgesamt vier xr-Arrays, jeweils zwei für jeden Kanal. Da der Quantisierer zu seiner Ausführung nicht sofort alle vier Arrays benötigt, kann er bereits nach der Berechnung des ersten Arrays gestartet werden. Die restlichen drei werden überlappend berechnet:

Schritt 4: Parallele Ausführung der MDCT
Die MDCT kann für jeden Kanal unabhängig voneinander ausgeführt werden. Dafür wird die Task in zwei Sub-Tasks aufgeteilt:

Schritt 5: Weitere Überlappungen mit PSY
Die Block Types werden in PSY in zwei Phasen berechnet. Bereits nach der ersten Phase können die ersten beiden xr-Arrays berechnet werden:

Schritt 6: Entfernen der MDCT-Container-Task
Durch die Aufteilung der MDCT in zwei Sub-Tasks hat die eigentliche Task keine sinnvolle Aufgabe mehr. Sie wird entfernt und die bisherigen Sub-Tasks greifen nun direkt auf die Samples und die Block Types zu:

Der nächste Schritt
Die aktuelle Version implementiert Schritt 6, es geht aber noch besser: Die Berechnung der Subband-Samples kann in eine separate Task übertragen werden, in der schon Samples für die kommenden Frames berechnet werden können. Das werde ich als Nächstes in Angriff nehmen.

Welche Phase (PSY oder Quantisierer) ich danach parallelisieren werde, weiss ich aktuell noch nicht. Eins kann ich aber schon vorweg sagen, dass auf ähnliche Weise wie hier bei der MDCT einiges herauszuholen ist!

Bis bald!

Die Queues wurden durch SequentialVirtualMemoryPipe-Objekte ersetzt. Dadurch wurde die Kommunikation zwischen den Tasks deutlich reduziert. Folgende Abbildung zeigt den aktuellen Datenfluss:

Beim Ausführen meines Tests bin ich auf folgende Ergebnisse gekommen:

Dateien einzeln encoden: 23,8x Dateien parallel encoden: 89,2x

[Nachtrag:] Dies entspricht einem Speedup von 3,75. LAME [...]]]> Wie angekündigt gibt es ab sofort die neue Version des MP3-Encoders zum Download.

Die Queues wurden durch SequentialVirtualMemoryPipe-Objekte ersetzt. Dadurch wurde die Kommunikation zwischen den Tasks deutlich reduziert. Folgende Abbildung zeigt den aktuellen Datenfluss:

Beim Ausführen meines Tests bin ich auf folgende Ergebnisse gekommen:

Dateien einzeln encoden: 23,8x
Dateien parallel encoden: 89,2x

[Nachtrag:] Dies entspricht einem Speedup von 3,75. LAME dazu im Vergleich: einzeln 24,6x, parallel 48,5 – Speedup etwa 2.

Mit ein paar Tricks lässt sich der letzte Wert vielleicht noch über die 90er-, vielleicht bis zur 100er-Marke steigern, dann ist aber das Maximale für meinen Prozessor erreicht.

Ausgehend von meinem ersten Testwert von 22,3x wird mit 89,2x lineare Skalierung erreicht. Bedenkt man, dass beim ersten Test bereits mehrere Threads zum Einsatz kamen, skaliert der Encoder sogar super linear beim Konvertieren von mehreren Dateien.
Diese Eigenschaft wird durch die parallele Dateiverarbeitung erzielt: Je mehr Dateien zu konvertieren sind, umso weniger fällt das I/O ins Gewicht, weil bereits während der Konvertierung einer Datei schon die nächsten Dateien in den Speicher geladen werden.

Viel Spaß damit!