Posts mit Tag "performance"
Heute hab ich You probably don’t need Oh My Zsh gelesen und hab das als Gelegenheit genommen, meine ZSH-Config nach 1000 Jahren zu erneuern.
Der Test am Anfang gab bei mir 0.29s zurück. Nachdem ich jetzt OMZ weggeworfen habe und ZSH von Hand konfiguriere und Starship verwende, sind es 0.23s. Also ganze 60ms schneller! Atemberaubend!
Das hat sich so mäßig gelohnt, aber es war ganz gut als Lernerfahrung, um zu sehen, welche Magic von OMZ kommt und welche nicht.
Konkrekt ein bisschen Pfeilnavgation und dass der Fenstertitel + CWD richtig ist:
# https://www.reddit.com/r/commandline/comments/l8ciib/starship_prompt_missing_some_important_things/glcsp8j/
bindkey "^[[1;5C" forward-word
bindkey "^[[1;5D" backward-word
# visual selection of completions
zstyle ':completion:*' menu select
function set_title_precmd() { print -Pn "\e]0;%n@%m: %~\a" }
function set_title_preexec() { print -Pn "\e]0;%n@%m: $1\a" }
function set_pwd_osc7() { print -Pn "\e]7;file://$HOST$PWD\a" }
autoload -Uz add-zsh-hook
add-zsh-hook precmd set_title_precmd
add-zsh-hook precmd set_pwd_osc7
add-zsh-hook preexec set_title_preexec
Jetzt muss ich noch rausfinden, wo die 200ms verschwendet werden.
Warum benutzen die ganzen Datenbanken eigentlich kein memory-mapped-io für den Zugriff auf ihre Stammdateien? mmapping ist doch für vieles deutlich schneller, als immer über Syscalls zu gehen.
Hier wird es beleuchtet: Are You Sure You Want to Use MMAP in Your Database Management System?
Unter einem Artikel über Fixed-Integer-Width-Vektoren (hier) stand ein netter Hinweis, den ich hier mal zitiere:
Instead of doing stuff like
(word >> bit_offset) & self.mask, in C or C++ I usually write_bextr_u64, or when using modern C#Bmi1.X64.BitFieldExtract. Note however these intrinsics compile into 2 instructions not one, because the CPU instruction takes start/length arguments from lower/higher bytes of a single 16-bit number.
Geht seit Haswell (~2013), cool!
Hier ist noch eine Übersicht an Features, an denen für die Zukunft gearbeitet wird.
Da sind ein paar Features dabei, die sehr viel schmerz lösen könnten. Für lean-s3 experimentiere ich gerade damit, einen Parser schnell zu bekommen. Ein langsamer Teil davon ist das Scanning. Für den hab ich jetzt schon viel rumgehackt und ihn auf .indexOf portiert, wo es möglich war. Der Hintergrund dafür ist, dass .indexOf unter der Haube (sehr wahrscheinlich) Vektorinstruktionen und generell eine sehr intelligente String-Suche verwendet, die man mit einem einfachen while-(x)-i++-Loop nicht hinbekommt.
Die Daten kommen aber aus undici, entweder als JS-String oder als Buffer. Wenn man jetzt vor dieser Spec WASM zum Scannen/Parsen verwenden wollte, hätte man vor dem Scannen die Daten in den WASM-Memory-Space manuell kopieren müssen. Ein Memcopy der größe O(n) hätte denke ich sämtliche Vorteile durch schnelleres Scannen wieder zunichte gemacht, deshalb hab ich das gar nicht erst probiert.
Mit diesen neuen Specs (speziell “multiple Memories” und “JS Strings”) gibt es hier 2 neue Möglichkeiten:
1. JS-String-Referenz übergeben
Den Result-String der HTTP-Antwort aus undici als JS-String an WASM übergeben und dann mit den String-Builtins den String verarbeiten. Damit macht man dann effektiv noch das gleiche wie vorher, aber der “Klebecode” zwischen den .indexOf-Calls ist dann etwa schneller, da der nicht mehr auf JS-Quriks (siehe unten) prüfen muss.
2. Den Buffer als Memory übergeben
Man kann den Buffer (nicht den String) von Undici direkt als zusätzlichen Memory an WASM reichen. Das wär dann Zero-Copy.
Vorteil gebenüber 1.: Die Antwort wird höchstwahrscheinlich UTF-8 sein. JS selbst benutzt für Strings intern UTF-16, d.h. wenn man eine HTTP-Antwort bekommt, muss undici aus dem UTF-8 erstmal noch UTF-16 machen. Das Problem hatte ASP.NET auch mal und sie haben das über eine Erweiterung von System.Text.Json, die die Rohdaten ohne vorheriges re-encoden nach UTF-16 parsen kann, fixen können. Das UTF-16 verbraucht unnötig viel Speicher, was schlecht für Cache-Lokalität ist. Wenn man den Buffer direkt verarbeitet, kann man sich das Re-Encoden sparen.
Ein weiterer Vorteil: Man kann dann die String-Operationskonstrukte der jeweiligen WASM-Quellsprache verwenden. Die kennt der Compiler dann schon. D.h. statt das .charCodeAt über die JS-Builtin-Strings zu callen, verwendet man einfach das, was die jeweilige Sprache sowieso schon hat. Da diese Boundary dann nicht vorhanden ist, kann der Compiler hier sehr viel besser optimieren, vor allem über Funktionsgrenzen hinaus. Außerdem wird der Overhead deutlich geringer sein (bzw. nicht vorhanden), weil nicht zwischen WASM-Land und JS-Land gemarshallt werden muss.
2 hat aber auch einen Nachteil gegenüber 1: Da für das Decoding verschiedene APIs verwendet werden, kann hier eine Divergenz durch verschiedene Implementierungen entstehen. Z.B. könnte sich das charCodeAt in JS anders verhalten als das aus bspw. Rust, wenn der zu lesende Buffer ungültiges UTF-8 hat. Das könnte darin enden, dass die Rust-Version dann falsche String-Offsets beim Scannen zurück gibt. Vielleicht könnte man das auch “beheben”, indem man direkt den kompletten AST in WASM zusammen baut. Ob das mit den neuen Specs möglich ist, gilt es noch rauszufinden.
Wenn das Stable in Node.js ist, hat man ne Menge zum Spielen. Vielleicht könnten die Memories auch für WASM-auf-Microcontroller verwendet werden, wo es verschiedene Speicherregionen gibt, die beim Microcontroller verschiedene Zwecke haben. Oder vielleicht sogar für Memory-Mapped-IO?
Edit:
So ganz 0-Copy wäre Methode 2 natürlich doch noch nicht. Undici kopiert die Daten ja aus dem Lesebuffer im Network-Code in den aggregierten Buffer, der am ende zurückgegeben wird. In C# hat man das mit dem Primitive ReadOnlySequence<T> und Systen.IO.Pipelines gelöst. Das ist im Prinzip eine API, bei dem eine ReadOnlySequence eine Verkettung der Buffer ist, die Undici mit den Daten aus dem Netzwerk füllt. Die Pipeline bietet dann eine Abstraktion, um aus dieser Bufferkette angenehmer zu lesen. So kann man wirklich sehr einfach parsen, ohne die gesamte Antwort in einen Buffer zu tun. Das müsste Undici aber auch supporten und das wär denke ich auch sinnvoll, wenn das eine JS-API wird, die intern nativ arbeitet. Vielleicht machen das ja die WebStreams (oder node:streams) intern so?
Update 2025-10-16: oxlint möchte gern ESLint-Plugins supporten und hatte das Problem auch. Sie haben es mit shared memopry gelöst und einen JS-basierten Serializer, der den AST aus dem Buffer liest, mit Code-Gen. Hier sieht man den deserializer.
Chrome baut an einer neuen API, mit der man Content preloaden kann: <script type="speculationrules">
Ein sehr guter Post über Probleme beim Benchmarking in JavaScript: JavaScript Benchmarking Is a Mess
In den Kommentaren auf HN hat ein JSC-Entwickler noch ein paar mehr Insights gegeben, die er hatte, als er den GC, den JIT und die Runtime entwickelt hat.
Windows bekommt ein neues Feature namens “Dev Drive”. Das ist eine gemountete VHD, die statt NTFS dann ReFS nutzt.
Warum will man das? Das hab ich mich auch gefragt. Scheinbar ist ReFS deutlich schneller. Außerdem kann das Antivirensystem bei der On-Access-Prüfung der Dateien dafür ausgeschaltet werden. Das Schlangenölsystem prüft dann wohl bei jedem npm install nicht mehr 10mio Dateien.
Aber cool zu sehen, dass ReFS es mittlerweile auch auf Desktopsysteme schafft.
Bitwise Binary Search: Elegant and Fast. Was nicht im Titel steht: Durch das Bitwise wird sie branchless.
Ich beschäftige mich gerade mit imgproxy und bin auf einen interessanten Artiekl über Bildoptimierung im Blog der Macher gestoßen: Images done right: Web graphics, good to the last byte.
Chrome hat bei den Lighthouse-Tools jetzt einen Bundle-Analyzer. Bisher hat man sowas ja über PLugins für sein Frotnend-Build-System machen müssen. Dass das im Browser ist, hat jetzt den Vorteil, dass es “einfach geht”. Zusätzlich kann der Browser auch noch anzeigen, welcher Code davon gar nicht verwendet wurde. So kann man sich noch besser fokussieren.
Ein interessanter Post darüber, wie ein einziger Algorithmus von mehreren Leuten mit unterschiedlichen Kenntnissen implementiert wurde: From Junior to Genius: an optimization story[hinweis] Ganz besonders gut finde ich, dass man sieht, dass “der hacker way” nicht immer der Beste ist. Speziell wegen der Lesbarkeit würde ich persönlich an der Stelle dann lieber eine der anderen Lösungen bevorzugen, selbst, wenn sie langsamer sind.
MS hat in .NET 5 schon deutliche Performancegewinne bei RegEx erzielen können.
Das ist in .NET 7 noch mal interessanter geworden.
Erste interessante Sache: Sie haben einen Source-Generator für RegEx gemacht. Damit wird das RegEx-Pattern zur Compile-Time der Anwendung schon kompiliert. Das spart Zeit bei dem initialen Aufruf und bietet ggf. noch Raum für mehr Optimierungen, weil es nicht zwangsweise schnell gehen muss. Dieser Generator ist allerdings Opt-In, weil man das RegEx-Objekt dafür auf eine bestimmte Art anlegen muss.
RegEx-Engines verwenden in der Praxis üblicherweise Backtracking, um nach Matches zu suchen. Ein Mensch der theoretischen Informatik würde jetzt fragen “warum das?”. Der Hintergrund ist, dass RegEx in den meisten Sprachen doch etwas mehr kann, als reguläre Ausdrücke einer regulären Sprache (z. B. Lookback References).
Verwendet man in seinem Pattern solche Konstrukte (Liste davon ist im verlinkten Blogpost) nicht, kann man alternativ eine RegEx-Engine verwenden, die einen DFA bzw. NFA konstruiert. Also das, was man im TI-Unterricht auch so lernt. Der Vorteil davon: Die können in manchen Use-Cases schneller sein. Das sollte man abhängig von seinem Pattern und den Daten machen. Hilfe beim Entscheiden gibt einem der Blogpost. Man sollte jetzt also nicht hingehen und überall Backtracking entfernen. Backtracking wurde schon gut optimiert.
Ein paar weitere Änderungen sind SIMD-Vektorisierung und Support für Span<T>.
The baseline for web development in 2022.
TL;DR: The baseline for web development in 2022 is: low-spec Android devices in terms of performance, Safari from two years before in terms of Web Standards, and 4G in terms of networks. The web in general is not answering those needs properly, especially in terms of performance where factors such as an over-dependence on JavaScript are hindering our sites’ performance.
In CSS gibt es die Property will-change, mit dem man dem Browser sagen kann, dass sich andere CSS-Propertys ändern werden und er das schon mal voroptimieren kann.
Ab und zu muss man aus einem größeren Zahlenraum auf einen kleineren mappen, z. B. auf den Index eines Arrays. Da sieht man häufig eine Konstruktion mit Modulo: arr[i % n] (wobei n die Länge des Arrays ist).
Für manche ist Modulo zu langsam. In dem Fall kann man diesen Hack anwenden. Aber Achtung, macht nicht das gleiche wie Modulo. Aber verteilt trotzdem auf die Range, die man haben will (ob das wir Modulo bei Zufallswerten auch einen Bias einführt, steht da glaub ich aber nicht).
MS hat hier zusammengetragen, was es für Performanceverbesserungen in .NET 6 gibt.
Insgesamt echt beeindruckend, alleine schon das Volumen des Posts. Habe jetzt nicht alles einzeln gelesen, nur grob überflogen. Eine Sache ist mir aber aufgefallen:
Most of the Math methods can now participate in constant folding, so if their inputs end up as constants for whatever reason, the results can become constants as well […] dotnet/runtime#42831 from @nathan-moore ensured that the Length of an array created from a constant could be propagated as a constant. […] […] dotnet/runtime#55745, which enables the JIT to fold
TimeSpan.FromSeconds(constant)(and other suchFrommethods) into a single instruction.
Nice! Offenbar ist die Compilerinfrastruktur bei .NET jetzt so gut, dass solche Verbesserungen von random GitHub-Leuten eingereicht werden können.
Ich habe vor einiger Zeit mal den Vorschlag gemacht, CTFE in C# zu machen. Das ist jetzt definitiv obsolet. Nahezu jedes Beispiel aus dem Proposal wird jetzt vom Constant-Folding optimiert (was ich auch für den besseren Ansatz halte).
Die verbleibenden Use-Cases könnten von generischen Const-Parametern abgefertigt werden. In meinem Proposal werden auch const structs angedeutet (also structs, die zur Compile-Time schon einen Wert haben und sich nicht mehr ändern). Da gibt es auch ein separates Proposal zu. Der Vorteil davon wäre, dass man z. B. DateTimes als “richtige” Konstante haben kann (nicht nur als Shared-Readonly) und es eigentlich keinen Grund gibt, das nicht zu tun, weil das intern auch nur ein Int64 und sonst immutable ist.
Der Web-Bloat-Score (WebBS) ist eine interessante Metrik für überflüssiges Zeug in einer Webseite.
Es gibt ja so diverse Blog-Posts, die man als Internetmensch normalerweise mal gesehen hat. Ich fange hier mal eine Serie an.
Der Anfang ist: The Web is Doom aus 2016. Grundaussage: Die durchschnittliche Webseite ist heute (also das Heute von 2016) größer als das erste DOOM, dem 2.5D-Shooter.
Kleiner Selbsttest: Wie viel kann ein Computer in einer Sekunde machen?
Man kann in HTML den Browser einen DNS-Namen prefetchen lassen. Damit hat er den Namen schon aufgelöst, bevor man die sich dorthin verbinden will:
<link rel="dns-prefetch" href="https://api.example.com" >