Informatik aus Versehen

Ordnung ist das halbe Leben

nospam@example.com (Stefan Förster) — Mon, 17 Nov 2008 17:46:56 +0100

Extra für Markus anbei die Bilder des wohl unaufgeräumtesten Netzwerkschrankes der Region (fairerweise muß man dazu sagen, daß ein Austausch der gesamten NW-Hardware schon länger geplant ist, was den Ordnungssinn evt. leicht, äh, "beeinträchtigen" könnte):

Viel Spaß am Wochenende, Markus

Datenbank-Schema für Postfix

nospam@example.com (Stefan Förster) — Sun, 09 Nov 2008 11:37:03 +0100

Wie die meisten Leser wissen dürften, mache ich ja recht viel mit Mailservern, genauer gesagt mit Postfix als MTA und mit Dovecot als IMAP-Server sowie mit amavisd-new als Framework für die Einbindung von Filtern, welche die Mails dann z.B. auf Spam oder Viren untersuchen. Diesen drei Programmen ist gemein, daß sie einen Teil ihrer Konfiguration aus einer Datenbank lesen können. Das ist ganz praktisch, wenn man gerade keinen eigenen Verzeichnisdienst wie z.B. LDAP am Start hat, weil man auf die Art und Weise sehr einfach eine Weboberfläche zusammenbauen kann, mit der man dann z.B. neue eMail-Adressen anlegen oder die Einstellungen des Spam-Filters verändern kann.

Nachdem ich derzeit zum Spielen - und zum ersten Mal seit Jahren - wieder eine neue Programmiersprache lerne, nämlich Ruby on Rails dachte ich mir, ich versuche mich jetzt mal selber an der Entwicklung einer solchen Management-Applikation (es gibt da fertige Lösungen wie z.B. Postfix Admin, aber wenn ich fertigen Kram nehme, lerne ich ja nichts dabei). Also habe ich mich zuerst einmal hingesetzt und meine Datenbankstruktur (in PostgreSQL) ausgearbeitet. Nachdem das erstellen der Struktur für zu verwaltende Domains, Mailboxen und Aliase keine halbe Stunde gedauert hat, hat mich Christian Boltz auf der Mailingliste zum Postfix-Buch von Peer Heinlein auf eine interessante Idee gebracht. Er meinte nämlich, daß es evt. keine schlechte Idee sei, von der eigentlich wünschenswerten dritten Normalenform wegzugehen und statt dessen einige Daten doppelt vorzuhalten - diese jedoch im Klartext und so, daß die Integration der Applikationen, welche auf die DB zugreifen sollten, möglichst einfach ist. Das Zauberwort dazu lautet PL/pgSQL und ist eine Programmiersprache in der Datenbank selbst, mit der sich das automatische Aktualisieren dieser Zusatzfelder über sog. "Trigger" nach jeder Operation, die Daten verändert, erledigen lässt - und glaubt mir, wenn man eben gerade nicht mehr in der dritten Normalenform unterwegs ist, gibt es da einiges an Daten, was man sozusagen "nachträglich" aktualisieren muß. Und auch die virtuellen Aliase von Postfix machen die Struktur nicht gerade einfacher. Das Positive an der Sache ist jedoch, daß die ganzen Trigger nur laufen, wenn Daten verändert werden, was ja deutlich seltener vorkommt als die reine Abfrage (meine Mailserver kriegen am Tag Millionen von Verbindungen ab, neue Postfächer dagegen richte ich pro Jahr vielleicht 60 oder 70 ein).

Also habe ich mich gestern nochmal zwei Stunden hingesetzt und heraus kam schließlich das hier (das .gz-File ist die Ausgabe von "pg_dump -c -d ...). Das Schema hat folgende Eigenschaften:

Die Tabellen für die Abfrage der Mailboxen und Aliase enthalten zwei Felder namens "auto_lhs" und "auto_rhs", welche die Daten direkt in dem Format bereitstellen, welches von Postfix oder Dovecot benötigt wird und von Triggern stets aktuell gehalten werden. Die Abfrage für die Definition von virtuellen Mailboxen ist denn auch trivial:
CODE:
query = SELECT auto_rhs FROM mailboxes WHERE auto_lhs='%s';
Man kann Domains, Mailboxen und Aliase deaktivieren, woraufhin ein Trigger dann auch alle davon abhängigen Einträge deaktiviert (und ja, da kommt es zu einer Kaskade von Triggern, aber das kann man denke ich in Kauf nehmen) Das gleiche gilt natürlich auch für das Löschen solcher Einträge.
Der Ort im Dateisystem, wo die Mails abgelegt werden, wir nur einmal, nämlich beim Erzeugen der Mailbox, festgelegt. Das heißt, daß man im Nachhinein einen anderen Benutzernamen, eine andere Domain oder einen anderen Localpart (den Teil vor dem "@") vergeben kann, ohne daß man danach per Hand Dateien umkopieren muß. Gleichzeitig wird die Ablage auf mehrer Verzeichnisebenen verteilt, so daß man auch mit einer großen Anzahl an Mailboxen keine Probleme bekommen sollte.
Die Alias-Daten sind logisch konsistent. Das hat den "Nachteil", daß man keine Aliase zur Weiterleitung benutzen kann (was ich sowieso für eine schlechte Idee halte, SPF sei Dank), aber dadurch, daß man keine Aliase auf nicht-existierende Ziele anlegen kann, kann man sich auch nicht in den Fuß schießen.
Aliase "erben" die Spam-Einstellungen der Adresse, auf die sie zeigen, können aber im Nachhinein auch andere Prioritäten erhalten, So kann man z.B. für die Roleaccounts die Spam-Filterung abschalten, obwohl die Mails in die selbe Mailbox gelangen wie private Mails, die dann schon gefiltert werden sollen. Außerdem macht das ganze die Integration von amavisd-new trivial (und ja, die "spam_policy"-Felder sollten Fremdschlüssel sein, ich weiß).

Mein Problem ist jetzt, daß ich gestern zum ersten mal seit sechs Jahren einen Trigger geschrieben habe und dementsprechend sehen die noch recht krude aus. Wer also mal Zeit hat und mir etwas Feedback geben könnte - nicht nur zu den Triggern, sondern auch zur Struktur - dem wäre ich dankbar.

So, ich glaube, jetzt ist es dann erstmal Zeit für einen Spaziergang. Das Wetter ist ja auch toll!

Schlecht geträumt

nospam@example.com (Stefan Förster) — Wed, 29 Oct 2008 04:15:00 +0100

Orakel-Turing-Maschinen. Inklusion für Platz- und Zeitklassen. Immerman–Szelepcsényi. Savitch. Quadratischer Zeitverlust bei Bandkompression. Platz- und Zeithierarchien. Lineare Programmierung über |Z. Quantifizierbare boolesche Formeln. PSPACE als Vereinigung (für alle k) von ATime von n hoch k. Alterierende Turingmaschinen. Quantorencharakterisierung der polynomiellen Hierarchie. Vertex Cover. Satz von Cook. Zeit- und Platz-Translationssätze. Komplementabschluß von nichtdeterministischen Platzklassen. Christos H. Papadimitziou - Computational Complexity. Log-Platz-reduzierbar. Polynomielle Zeithierarchie. Pairing. OTM-Charakterisierung der polynomiellen Hierarchie. Korrolare. Theoreme.

Wie zum Geier kann man eine ganze Nacht lang Albträume von so einem Scheiß haben?

Wie schafft er das nur immer?

nospam@example.com (Stefan Förster) — Tue, 28 Oct 2008 18:01:33 +0100

Ich habe gerade nasse Füße, weil ich in der Stadt war und mein Regenschirm wohl doch etwas zu klein für die Kombination aus Wind und Wetter war. Oder vielleicht bin ich auch zu blind, um den Pfützen ausuzweichen. Wie auch immer, das schlägt mir auf die Laune, auch, wenn ich gerade mit dicken Wollsocken hier sitze und langsam wieder warm werde. Was mich aber momentan vielmehr wurmt, ist daß mein Kumpel Jonas so ein verdammtes Superhirn ist - und mich nichtmal an seiner Weisheit teilhaben lässt.

Jonas und ich schicken uns in unregelmäßigen Abständen kleine Kryptographie-Rätsel hin und her. Nichts kompliziertes, weil man es ja noch lösen können soll. Unregelmäßig deshalb, weil immer der aktuelle Empfänger das gegenwärtige Rätsel lösen muß, bevor er dem jeweils anderen eine neue Herausforderung schicken darf. Nun war letztens ich an der Reihe und dachte mir, ich bin mal kreativ. Ich habe also den Klartext der Nachricht in Blockgruppen gleicher Länge aufgetaucht und dabei alle vier Blöcke einen Füllblock eingefügt, um die Statistik zu verrauschen. Nicht ganz, ein bißchen Bias sollte ja noch drin bleiben, sonst hätte Jonas ja keine Chance gehabt. Bei der Wahl des Schlüssels habe ich auf eine Mersenne-Primzahl zurückgegriffen. Die habe ich ebenfalls in Blöcke aufgeteilt, bin ein paar hundert Gruppen "in die Zahl rein gegangen" und habe das ganze dann ver-XOR-t.

So, was jetzt wenig überraschend war, ist die Tatsache, daß Jonas auf den Klartext gekommen ist. Was mich aber wirklich wurmt: Er hat mir auf den Kopf die Nummer der Primzahl und die Anzahl der Blöcke, die ich übersprungen hatte, zugesagt. Und der Arsch (ja, Jonas, Du bist gemeint!) hat mir nicht verraten wollen, wie er da draufgekommen ist.

Jemand von Euch eine Idee? ;-(

Sommerzeitumstellung

nospam@example.com (Stefan Förster) — Sat, 25 Oct 2008 04:24:00 +0200

Ok, dieser eine Eintrag ist jetzt mal nicht für Euch da draußen, sondern nur für mich:

STEFAN, DENK DRAN DASS DU NOCH ZWEI UHREN HAST, DIE SICH NICHT VON SELBER UMSTELLEN!

Danke für ihre Aufmerksamkeit.

Herzlichen Glückwunsch zu den Studiengebühren

nospam@example.com (Stefan Förster) — Fri, 24 Oct 2008 04:25:00 +0200

Das war ja eine tolle Idee mit den Studiengebühren. Laut einer Studie des Bildungsministeriums haben sie ganze 19000 Abiturienten davon abgehalten, nach der Schule ein Studium anzutreten. Und ob sich an den Unis was geändert hat, darf bezweifelt werden, wenn man sich anschaut, daß die TU die Kohle aus den Studiengebühren - angeblich - in Umhängetaschen und Regenjacken investiert hat.

Manchmal kann man gar nicht soviel Nudeln futtern, wie man gerne wieder von sich geben würde

Falling For You

nospam@example.com (Stefan Förster) — Thu, 23 Oct 2008 04:02:00 +0200

Es ist Donnerstag. Genauer gesagt ist es kur vor vier Uhr. Mir ist kalt. Und vor allem merke ich, daß mich die Kombination aus Kälte, Wetter und Dunkelheit, die diese Jahreszeit mit sich bringt, runterzieht. Das erste Symptom ist bei mir dann immer, daß ich Schnulzen brauche. Sowohl als Film als auch als Musikstücke. Und da habe ich jetzt genau das richtige gefunden:

Und übrigens hat Jem nicht nur "Falling For You" gemacht sondern z.B. auch 24. Sucht bei YouTube ruhig mal ein bißchen rum, die Frau hat ein ziemlich großes Repertoire. Und einen Abschluß in Jura. Wenn das mal nicht cool ist

Don't Cry For Me Argentina

nospam@example.com (Stefan Förster) — Wed, 22 Oct 2008 04:20:00 +0200

Weil ich gerade die Mail sehe: Am Sonntag kam auf meinen Debian/stable-Kisten ein Update für das Paket "tzdata" an. Das Paket sorgt dafür, daß Zeitzoneninformationen korrekt umgesetzt werden, indem es erstens das Mapping der internen Uhr auf die Systemzeit durchführt (wenn also z.B. die interne Uhr mit GMT läuft, man aber in Berlin wohnt) und zweitens für das automatische Umschalten zwischen Sommer- und Winterzeit durchführt. Ein wenig gewundert habe ich mich ja schon, daß so ein Update kommt, weil ich nicht groß was damit anfangen konnte (Sommer- und Winterzeit gibt es ja nun nicht erst seit gestern), aber hier stehen die Hintergründe (DST steht für "Daylight Saving Time", also Sommerzeit). Das muß man unbedingt gelesen haben. Am besten gefällt mir folgendes Zitat:

QUOTE:

The list of provinces that still haven't made up their mind is painfully
long: Rio Negro, Neuquen, Santa Cruz, Chubut, Jujuy, Corrientes, Santa Fe.
Any of them could decide to not change at any point between today and
Sunday 00:00. :-\

I'm really sorry to live in such a stupid country.

Da mußte ich dann echt lachen!

Überraschende Parallelen

nospam@example.com (Stefan Förster) — Tue, 21 Oct 2008 04:02:00 +0200

Es war im Freenode-IRC, und um genau zu sein, es war in #postfix. Man möchte es kaum glauben:

CODE:

19:44 < name> I once got laid with one of our super-stupid first level support blondies. But I guess that's a bit offtopic in #postfix, isn't it? 19:45 -!- Spec [n=nwheeler@ubuntu/member/spec] has quit [Read error: 104 (Connection reset by peer)] 19:46 < vice-versa> depends, did you do her on/over a postfix mta? 19:47 -!- weedar [n=sikrit@82.194.215.179] has quit [Read error: 104 (Connection reset by peer)] 19:47 < name> Not really. 19:47 -!- hever [n=hever@ip-78-94-189-221.unitymediagroup.de] has quit [Remote closed the connection] 19:48 < name> Which just strengthens the suspision already lingering inside of me that this might really be offtopic ;-) 19:53 < rob0> Did you send her emails afterward? 19:54 < name> Actually, I did. 19:54 < rob0> Great! We're on topic!! :) 19:54 < name> And now that you mention it, I did this using Posftix! 19:54 < rob0> of course 19:55 < vice-versa> yeah sounds on topic to me too 19:56 < name> This was in around 2004, she was working on the other side of the Atlantic (Chicago). I just stayed there for two weeks. 19:56 < vice-versa> where there any performance issues or undesirable long term side-effects? 19:56 < name> And I decided to discard(8) her when I found out she was actually married. 19:57 < rob0> oh my, that is not a good user interface

Um mal einen genervten Mitarbeiter der Audi AG zu zitieren (er war aus dem eBusiness-Bereich und es ging um einen offenen Exchange-Server in den Vereinigten Emiraten): "Ich verstehe unsere Themen nicht mehr!"

DNSWL in Postfix konsequent einsetzen

nospam@example.com (Stefan Förster) — Mon, 20 Oct 2008 04:05:00 +0200

Jeder Mailserver-Betreiber kennt DNS-Blacklisten. In Echtzeit kann der eigene Mailserver so mit einer einfachen DNS-Anfrage schon bei der Einlieferung einer Mail nachsehen, ob der verbundene Client schon früher unangenehm aufgefallen ist. Der Mechanismus funktioniert, wenn man ihn mit etwas Hirn und Bedacht (lies: Scoring-Mechanismen, Ausnahmelisten, beobachten der Policy der betreffenden DNSBL etc. pp.) einsetzt auch wirklich gut.

Das farbliche und funktionale Gegenteil einer DNS-Blacklist ist eine DNS-Whitelist. Da stehen die Hosts drin, von denen selten oder gar nie Spam versandt wird. Die meinem Empfinden nach bekannteste dieser Listen ist dnswl.org. Benutzt wird diese Liste wie alle anderen DNS-Blacklists auch:

CODE:

# dig 53.107.214.85.list.dnswl.org +short 127.0.6.1

Das ist soweit mal eine gute Sache - denn wenn man in dieser Liste drinne steht, wird der Mailversand ein Stückchen einfacher. So vergibt zum Beispiel jede halbwegs aktuelle Version von SpamAsassin (und dank sa-update kann mann eigentlich jede Version halbwegs aktuelle halten ) Bonuspunkte, wenn der einliefernde Mailserver in dieser Liste steht. Schon mal nicht schlecht, aber eine Sache bleibt verbesserungswürdig: Zu wenige Installationen nutzen dnswl.org, um einliefernden Mailservern Prüfungen wie Greylisting oder den Lookup in anderen DNSBLs zu ersparen - obwohl man das eigentlich tun sollte. Das liegt zum einen daran, daß fast jeder Mailserver eine Funktion mitbringt, um einen Client nach einem DNSBL-Treffer abzuweisen, aber fast keiner kennt ein Kommando für das Gegenteil. Dabei wäre es so einfach. Unter Postfix z.B. hat man ja meistens irgendwie die folgende Struktur in den Zugriffsregelungen drin:

CODE:

smtpd_recipient_restrictions = ... ... permit_mynetworks reject_unauth_destination ... <Greylisting/RBL-Checks> ...

So, vor die RBL- und Greylisting checks kommt jetzt einfach ein

CODE:

check_client_access cidr:/etc/postfix/dnswl-permit.cidr

Und diese Datei lässt man einmal am Tag folgendermaßen erzeugen:

CODE:

# renew DNSWL data /usr/bin/rsync --times rsync1.dnswl.org::dnswl/postfix-dnswl-permit /etc/postfix/dnswl-permit.cidr

Einmal am Tag reicht wirklich, so oft ändern sich die Daten ja nicht. Neustarten muß man Postfix danach auch nicht, der kriegt Änderungen in Lookup-Tabellen von selber mit. Das ganze einzurichten dauert - vorausgesetzt man kennt die Struktur der eigenen Access-Regeln - ungefähr zwei Minuten, vielleicht drei, wenn man die rsync-Adresse nachsehen muß. Ich verstehe nicht, warum so viele Leute das nicht geregelt kriege. Besonders schlimm ist das, wenn die empfangenden Server selber in der Liste stehen - da reicht's dann bei mir nur noch zum Kopfschütteln.

So. Das war jetzt die Technik für heute. Aber es ist ja Montag, es ist kurz nach 04:00 Uhr, ich bin noch nicht lange wach und die Woche wird lang. Deswegen habe ich noch etwas für Euch - genauer gesagt "Romeo And Juliet" von den "Killers":

Wer sich das jetzt nicht in Ruhe, mit geschlossenen Augen anhört und auch, wer bei dem Lied nicht spontan an Kuscheln oder ein Konzert mit tausenden Feuerzeugen denken muß, bei dem stimmt irgendwas nicht.

Viel Spaß Euch da draußen, und eine schöne Woche!