schokokeks.org

Wir setzen seit mehreren Jahren überaus erfolgreich ein selbst entwickeltes Greylisting-System ein. Ein herausragendes Merkmal unserer Implementierung stellt eine langlebige IP-Adressen-Whitelist dar, die dafür sorgt, dass auch selten involvierte Mailserver ein ganzes Jahr lang verzögerungsfrei E-Mails zu uns durchstellen können.

Als zusätzliche Maßnahme gegen Verzögerung legitimer E-Mails setzen wir ab sofort auch die Whitelist von dnswl.org ein.

Im Lauf der Zeit sind bei schokokeks.org einige Skripte und Tools entstanden. Wir werden in naher Zukunft einiges davon als freie Software veröffentlichen.

Den Anfang macht ein Modul, welches sogenanntes Greylisting (eine Methode gegen Spam) für den Courier Mailserver implementiert. Es kann ab sofort unter http://source.schokokeks.org/greylisting/ heruntergeladen werden.

Seit etwa einem Monat setzen wir nun Greylisting ein (siehe voriger Blog-Eintrag).

Wir sind mit der Effizienz und vor allem mit der Handhabung bisher sehr zufrieden. Bisher hat kein einziger Benutzer seine Domain in die globale weiße Liste eintragen lassen. Nach kleinen Schönheitsfehlern in den ersten Stunden des Einsatzes wurden uns bisher keine Probleme gemeldet, die sich auf diese Technik beziehen.

Nachdem jetzt ein Monat vergangen ist, finden wir das einen guten Zeitpunkt über die Effektivität des Filters zu berichten.

Nachfolgende Zahlen beziehen sich auf einen Zeitraum von 24 Stunden, als Mittelwert einer 48-stündigen Aufzeichnung.

Nachrichten, die aufgrund einer früheren Freischaltung sofort akzeptiert wurden: 2471
Nachrichten, die über eine autorisierte SMTP-Verbindung (Login) oder lokal vom Server versandt wurden (ausgehende Nachrichten): 981
Nachrichten, die beim ersten Versuch abgelehnt wurden: 3554
Davon wurden ein zweites Mal versandt: 273
Dadurch also Nachrichten abgewiesen: 3281
Nachrichten-Eingang gesamt (ohne erneut gesendete und ausgehende Nachrichten): 6025

Zusammengezählt bedeutet dies, dass wir mittlerweile alleine über das Greylisting mehr als die Hälfte aller E-Mails die uns erreichen, ablehnen können.
Da unsere Benutzer naturgemäß sehr viele automatisch generierte E-Mails empfangen, darf die Quote bei alleiniger Betrachtung der Individual-E-Mails deutlich größer geschätzt werden.

Das gefühlte Spam-Aufkommen in der normalen Inbox ist bei allen Benutzern von denen wir Feedback bekommen haben fast vollständig zurückgegangen.

Seit dem gestrigen Sonntagabend setzen wir auf schokokeks.org zur Spam-Abwehr einen sog. Greylisting-Filter ein. Dabei wird eine E-Mail beim ersten Zustellversuch temporär abgelehnt und erst beim zweiten Versuch akzeptiert. Viele Spammer starten aber keinen zweiten Zustellversuch, daher eignet sich diese Methode recht gut zur Spam-Abwehr.

In den ersten Stunden wurden ein paar kleinere Implementierungsfehler festgestellt, die aber sofort behoben wurden. Dazu gehört unter anderem die falsche Annahme, jeder Mailserver würde mindestens 5 Minuten zwischen zwei Zustellversuchen warten. Es hat sich gezeigt, dass z.B. nullmailer penetrant im Minutentakt sendet, daher wurde die Erneuerung der Sperrfrist jetzt gestrichen, nach spätestens 8 Minuten wird jetzt eine Mail akzeptiert, egal wie oft vorher versucht wurde die Mail zuzustellen.

Nach knapp 24 Stunden hier schon die erste (noch nicht sehr aussagekräftige) Statistik:
Es wurden 4496 Nachrichten temporär abgelehnt, von diesen haben 571 Mails einen zweiten Versuch gestartet und wurden erlaubt.
Jede erlaubte Nachricht setzt den Absender-Mailserver und die Absender-Empfänger-Kombination auf eine Whitelist, sodass bei Wiederkehr der selben Konstellation die Mail sofort akzeptiert wird. Aufgrund dieser Liste wurden bislang 1104 E-Mails sofort akzeptiert.

Es wurden in dieser Zeit also letztlich 2821 Nachrichten abgelehnt und 1675 Nachrichten angenommen. Das macht eine Spam-Abwehr-Rate von gut 66%. Und das ohne Systemressourcen in nennenswertem Umfang zu verbrauchen. (Datenbank-Größe momentan etwa 1MB, Laufzeit des Filters pro Mail deutlich unter einer Sekunde. Wir arbeiten mit einem Thread-Pool von 10 Threads und es waren bisher bei unseren Beobachtungen nie mehr als 5 Threads parallel tätig.)

Es ist auch zu deutlich zu sehen, dass die Zahl der nach erster Ablehnung wiederkehrenden Mails in den letzten Stunden eher stagnierte, dafür stieg die Zahl der sofort akzeptieten Mails immer schneller an. Das bedeutet, immer mehr Mails werden ohne jede Verzögerung akzeptiert.

Unseren Kunden bieten wir die Möglichkeit, eigene Domains in eine Whitelist einzutragen, damit Mails an diese Domains niemals verzögert werden. Von dieser Möglichkeit wurde bisher kein Gebrauch gemacht.