spam - problematik und lösungen - lug erding · e-mail allgemeines zu spam historie historisches i...

E-Mail

SpamProblematik und Lösungen

Dirk Geschke

Linux User Group Erding

22. August 2007

E-Mail

Gliederung

Allgemeines zu Spam

Juristische Aspekte

Vorsorge und Ansatzpunkte

Methoden der Spambekämpfung

Theoretische Verfahren

Abschluß

E-Mail

Allgemeines zu Spam

Historie

Historisches

I Dosenfleisch: SPiced hAM, auch Shoulder Pork and hAMI Begriff stammt von Monthy Python-Sketch: Spam als

etwas was man nicht haben will und trotzdem bekommtI Jon Postel dachte schon in RFC-706 On the Junk Mail

Problem aus dem Jahr 1975 über Spam nachI Erste Spammail: 3. Mai 1978 - DEC Marketing TOPS-20I Erste Verwendung des Begriffs Spam: Usenet, 31.3.1993 -

Werbung für Greencard-LotterieI Folge: praktisches Ende der Newsgroups

E-Mail

Allgemeines zu Spam

Definition

Spam-Definition

I UCE: Unsolicited Commercial EmailI UBE: Unsolicited Bulk EmailI Kollateral-Spam: Bounces die an vermeintlichen Absender

gesendet werdenI verwandte Probleme: Phishing, Viren, Tojaner, KettenbriefeI juristische Definition

I werbender Inhalt mit kommerziellem HintergrundI unverlangte ZusendungI kein bestehender geschäftlicher Kontakt

E-Mail

Allgemeines zu Spam

Probleme durch Spam

Spamprobleme

I Server überlastetI Mailboxen werden verstopftI Verschwendung von ArbeitszeitI Kosten für TrafficI verlangsamte Zustellung regulärer E-Mail, verspätetes

Lesen

E-Mail

Allgemeines zu Spam

Motivation und Technik der Spammer

Motivation der Spammer

I guter Gewinn gegen geringen Aufwand, Kosten fürSpamversand sind minimal

I bei Millionen von E-Mails gibt es immer welche die daraufanspringen

I Laut Spamhaus nur 200 professionelle SpammerI Arbeiten im Auftrag andererI schwer juristisch belangbar

E-Mail

Allgemeines zu Spam

Motivation und Technik der Spammer

Techniken

I SMTP hat keine Sicherungen gegen Fälschungen vonAdressen

I Envelope unabhängig von der eigentlichen E-MailI Betrieb eigener MailserverI Spamversand mit besonderen Mailclients: Fire & ForgetI Verwendung von open relays: bis in 90er Jahre

gewünschte Funktionalität!I Verwendung von open proxies, z.B. WebproxiesI unsichere CGI–Scripte (formmail)I Zombie–PCs, Bot–NetzeI Mailserver der einzelnen Provider bei Botnetz

E-Mail

Allgemeines zu Spam

Motivation und Technik der Spammer

Sammeln von Adressen

I offline via CDs - käuflich erwerbbarI von Webseiten und aus Newsgruppen (harvester)I raten von Adressen (local-parts)I Adreßaustragungs–Links, Gewinnspiele, GratisprobenI FTP-Links: z.B. Outlook verwendet eigene E-Mail Adresse

zur Authentisierung bei anonymous–ZugängenI automatische Antworten, vacation– oder

Abwesenheits-E-MailI whois–DatenbankenI Adreßbücher von Zombie–PCs

E-Mail

Juristische Aspekte

Allgemeines

Allgemeines

I juristisch sind nur E-Mails mit kommerziellem Hintergrundrelevant

I Zusendung unverlangter E-Mails zu Werbezweckenverstößt gegen gute Sitten

I Klageberechtigt sind nur Konkurrenten, Verbraucher- undWettbewerbsverbände und Handelskammern

I Ansonsten: Abmahnung und einstweilige VerfügungI Deutschland und EU: opt-in, USA opt-outI Probleme: Gerichtsstand und Prozeßkosten

E-Mail

Juristische Aspekte

Spam

Spam und Recht

I eigentlicher Spamversand ist nicht strafbar!I allerdings kann der Inhalt strafbar seinI gefälschte Adressen: Markenrecht gilt auch für

Domainnamen!I lahmlegen eines Mailservers durch Spam:

ComputersabotageI Virenwarnungen mit Werbung für Virenscanner gelten als

Spam

E-Mail

Juristische Aspekte

Filterung

Recht und Filterung

I E-Mails fallen unter §206 StGB: FernmeldegeheimnisI Ausnahme bei Unternehmen: Verbot privater NutzungI E-Mail muß dem Server zur Übermittlung anvertraut sein

I Ebenfalls relevant ist §303a StGB: Datenveränderung(1) Wer rechtswidrig Daten (§ 202a Abs. 2)

löscht, unterdrückt, unbrauchbar macht oderverändert, wird mit Freiheitsstrafe bis zu zweiJahren oder mit Geldstrafe bestraft.

(2) Der Versuch ist strafbar(3) Für die Vorbereitung einer Straftat nach

Absatz 1 gilt § 202c entsprechend.

E-Mail

Juristische Aspekte

Filterung

Recht und Filterung

I Folgen aus §303a:I ungenehmigte Löschung oder Unterdrückung von E-Mails

ist verboten!I Zustimmung des Empfängers vorher notwendig!I Verschieben spamverdächtiger E-Mails in andere Ordner ist

rechtlich bedenkenlos

I Notfallbetrieb (z.B. DDoS–Attacke): Hier darf Spam auchohne Zustimmung gelöscht werden!

I Viren: Theoretisch auch §§206 Abs. 2 und 303a StGB.Abwehr drohender Virenangriffe reicht aber alsRechtfertigung einer Löschung, §109 TKG: Schutz gegenunerlaubte Zugriffe

E-Mail

Juristische Aspekte

legitime Werbe-E-Mails

Erlaubter Spam

I opt-in: Empfänger muß vorher dem Versand zugestimmthaben

I Zustimmung auch durch Kauf einer Ware oderDienstleistung, dem kann aber widersprochen werden

I Online oft double-opt-in oder auch verified opt-in: doppelteBestätigung gegen Mißbrauch, z.B. bei Newslettern undEintragen fremder Adressen

I Variante: confirmed opt-in: schriftliche Bestätigung vorZusendung z.B. eines Newsletters mit sofortigerKündigungsmöglichkeit

E-Mail

Vorsorge und Ansatzpunkte

Vorsogemaßnahmen

Vermeidung von Spam

I Mailserver nicht als open relay betreiben, gleiches gilt füropen proxies wie z.B. Squid

I Vorsicht bei mailversendenden CGI–Scripten (formmail)I Umgang mit Mailadressen

I keine E-Mail Adressen auf WebseitenI lange Namen, 1-2 Buchstaben werden schnell geratenI Vorsicht bei: Gewinnspielen, Newslettern, Gratisproben,

AustragunglinksI keine vacation E-Mails.I Geheimhalten der Adresse, häufiger Adreßwechsel und

Wegwerfadressen (unpraktisch)I Zusatzinformationen in der Adresse: auf Displaynamen

achten!I Zusatzinformationen in mailto–Links (Subject)

E-Mail

Vorsorge und Ansatzpunkte

Ansatzpunkte für Antispam-Maßnahmen

Angreifpunkte bei Spam

I im Server beim Versand (MSA): egress–Filterung (ISPs)I im Server vor der Annahme der E-Mail

I IP-Filter vor ConnectI vor HELO/EHLOI nach HELO/EHLOI nach MAIL FROMI nach RCPT TOI nach DATA und CRLF . CRLF

I im Server nach AbnahmeI im Client vor AbholungI im Client nach Abholung

E-Mail

Vorsorge und Ansatzpunkte

Nach der Spambewertung

Nach Spamanalyse

I zustellen, spamverdächtige E-Mails markieren oderseparaten Folder

I abweisen, ressourcensparendI löschen: niemand merkt das, Fehler nicht erkennbar,

Rekonstruktion der E-Mail nicht möglich −→ nichtmachbar!

I markieren, entweder unsichtbar im Header oder sichtbarim Subject

I unter Quarantäne stellenI Ausnahmen: Postmaster (zwecks Beschwerden!)

E-Mail

Methoden der Spambekämpfung

Filterung durch Personen

I sehr effektives Verfahren, gewöhnlich wird Spam auf denersten Blick erkannt

I wird von manchen Mailinglisten verwendet: moderated ListI im Unternehmenseinsatz an zentraler Stelle wegen

Datenschutz nicht möglichI Filterung im MUAI erkannter Spam kann zum Trainieren anderer Filter

verwendet werden, siehe Bayes–Verfahren

E-Mail

Methoden der Spambekämpfung

Einhalten des Protokolls, Timeouts

I Prüfung des HELO-Strings: Ist der Hostname korrekt?Weist er auf gültige Adresse hin?

I Test auf PTR–Eintrag: Existiert er und verweist dieser aufdie gleiche IP-Adresse (reverse and forward lookup)

I Einhaltung der Sequenzen: Sendet der Client vor derAntwort des Servers? Vorsicht bei PIPELINING.

I Tests auf Korrektheit z.B. der Adressen, Vorsicht: esexistieren nicht-RFC-konforme Mailserver.

I Verlangsamung, Ausnutzung von Timeouts: Spammerhaben es eilig, sie wollen viele E-Mails durchschleusen.Eine bewußte Verlangsamung kann daher helfen.

I Spammer dürften bei Verbreitung des Verfahrens schnelldarauf reagieren

E-Mail

Methoden der Spambekämpfung

Sender Policy Framework, SenderID, CallerID

I Verifikation des Absenders anhand von DNS–EinträgenI Einschränkung des Kreises von sendeberechtigten

ServernI nur der Versender kann Einträge vornehmen:

Spamvermeidung bei anderen und nicht bei einem selberI Spammer können sich auch SPF-Einträge generierenI Relaying über andere Server nur bedingt möglichI Erfolg begrenzt, Einsatz eher nicht ratsam

E-Mail

Methoden der Spambekämpfung

S/MIME, PGP, STARTTLS

I Aufwand für Verschlüsselung recht hochI Existenz von Signaturen nicht ausreichend, Spammer

können einmal signieren und mehrfach versendenI STARTTLS hilfreich: Hohe CPU-Last durch

Verschlüsselung, reduziert Durchsatz bei SpammernI Allerdings hilft das nicht gegen Bot–Netze, die sind in der

Regel leistungsstarkI Als Kriterium eher sekundär geeignet, z.B. in Verbindung

mit heuristischer Statistik

E-Mail

Methoden der Spambekämpfung

Right Hand Side Blacklists RHSBL

I Blockierung aufgrund des Domainnamens des AbsendersI Absender leicht fälschbar −→ schlecht für BlacklistsI sinnvoll nur bei bekannten Spam-Domains.I hilfreich bei Whitelists, Anwendung muß gut durchdacht

seinI wenig hilfreich, höchstens in Verbindung mit DKIM

E-Mail

Methoden der Spambekämpfung

Realtime Blackhole Lists

I Sperrung anhand der IP-Adresse des AbsendersI Auch DNSBL genannt: Mißbrauch von DNS um

Informationen zu IP-Adressen zu verteilenI Vertrauen in Betreiber von RBLs notwendigI diverse Policies: offene Relays, bekannte Spammer, dial-in

AdressenI Wer kommt alles auf die Liste? Wie verfährt man wenn

jemand fälschlich auf die Liste gesetzt wurde?I rechtlich nicht einwandfrei: Speicherung von IP-Adressen

können personenbezogen seinI generell aber recht effektiv

E-Mail

Methoden der Spambekämpfung

URI-Blacklists

I Filtern nach URIs innerhalb der E-MailI Bei Verwendung beliebiger Subdomains nur die unterste

Domain verwendenI Vorsicht: uk hat 3. LevelI Problem: Redirect-Dienste wie z.B. TinyURLI Datenschutzproblem existiert auch hierI Spammer umgehen dies durch z.B. GIF-Bilder mit URLs

E-Mail

Methoden der Spambekämpfung

Prüfsummenvergleiche

I statischer Inhalt: Prüfsummenvergleiche des Inhaltseffektiv

I bei leichten Variationen: unscharfe Verfahren wie z.B.nilsimsa

I Varianten: Distributed Checksum Clearing (DCC), Vipul’sRazor, Pyzor

I Brauchen eine breite Basis um effektiv zu sein: zentralesRegister

I Da nur Metadaten abgefragt werden: unbedenklich ausDatenschutzgründen

I Können sehr effektiv sein, benötigen aber in der Regelübergeordnete Instanz

E-Mail

Methoden der Spambekämpfung

Frequenzanalyse

I Reputationsverfahren, Häufigkeit und Frequenz vonE-Mails

I Grund-Maillast notwendigI Verhältnis gültige zu ungültigen AdressenI Größe der E-Mails: Alle ungefähr gleichgroß?I temporäres Blacklisten von IP-AdressenI recht einfaches und brauchbares Verfahren

E-Mail

Methoden der Spambekämpfung

Sperren SMTP-Port, MTAMARK

I nur für ISPs und Unternehmen interessantI einige Provider wie z.B. AOL führen dies durchI MUAs müssen Mailserver des Providers erreichen können

oder MSP-Port verwendenI Problem ist, daß man selber keinen eigenen Mailserver

betreiben kann, viele Firmen wollen dies aber.I könnte gegen viele Bot–Netze helfen

E-Mail

Methoden der Spambekämpfung

Heuristische Inhaltsanalyse

I Analyse nach Wörtern, Strukturen: rule-based filteringI Suche nach bestimmten Begriffen im Body und HeaderI Body: Großschreibung, Austragungsoptionen,

Aufforderung URL aufzurufen, Mustern innerhalb vonURLs, HTML-Verschleierungstricks, . . .

I Header: Absender, Empfänger, Versand-Datum,X-Mailer-Analyse, Zeitsprünge in Received-Zeilen, . . .

I Verwendung von Scores für verschiedene gefundeneEigenschaften, positiv wie negativ

I berühmter Vertreter: SpamAssassinI Effektivität recht hoch, muß auf aktuellem Stand gehalten

werden (Katz-und-Maus-Spiel), hoher Rechenaufwanddurch viele Regeln und Regular-Expressions

I auf dem Server nur bedingt anwendbar

E-Mail

Methoden der Spambekämpfung

Statistische Inhaltsanalyse

I Vorhersagbarkeit von HAM oder SPAM durch statistischeAnalyse alter E-Mails

I naive Bayes-Filter: Statistiken über einzelne Wörter (token)I Trainingsphase notwendig für HAM und SPAMI Filter muß ständig aktualisiert werdenI Spamfallen können zum automatischem Training

verwendet werdenI Probleme bereiten HTML-Verschleierungen, es gibt

Ansätze die diese vorher rendernI Erfolg hängt vom Training ab, gewöhnlich nur im MUA

anwendbar

E-Mail

Methoden der Spambekämpfung

DomainKeys Identified Mails (DKIM)

I Validierung des Absenders und der E-Mail durch digitaleSignierung auf dem Server

I keine Änderungen am MUA notwendigI Replay–Attacken möglich, d.h. mehrfaches versenden

einer einmal signierten E-MailI public key wird via DNS verteilt, ratsam nur mit DNSSecI Spammer können auch DKIM einsetzen: Kombination mit

RHSBLI bislang keine große Verbreitung, derzeit nur als Whitelist

verwendbar

E-Mail

Methoden der Spambekämpfung

SMTP-Callout

I Validierung des Absenders durch SMTP-Verbindung zumMailserver des vermeintlichen Absenders

I auch: Sender–Address–Verification, Sender–VerifyI Problem: Bindung von Ressourcen, nachfragen kann

länger dauern, manche Maliserver nehmen generell füralle E-Mails entgegen

I erhöhte Last auf Gegensystem kann zu Verstimmungenführen

I Einsatz nicht ratsamI Variante: Testen ob Server überhaupt auf Port 25 reagiert.

SYN, SYN-ACK

E-Mail

Methoden der Spambekämpfung

Greylisting

I Spammer ignorieren Antworten des Servers, sie lassensich durch temporäre Fehlermeldungen abschrecken

I Funktionsweise:I 1. E-Mail wird durch 4xx-Fehlermeldung abgelehnt,I spätere E-Mails mit Tripel (Absender, Sender-IP-Adresse,

Empfänger) werden temporär freigeschaltet: GreylistI jedes Auftreten des Tripels aktualisiert Greylist-Eintrag

I Zeiten relevant: sehr effektiv zusammen mit RBLI nicht alle Mailserver sind RFC-konform: Whitelists

notwendigI alle MX-Server müssen Greylisting unterstützenI derzeit noch die wirksamste Waffe gegen Spam!

E-Mail

Methoden der Spambekämpfung

Spamfallen, Greytrapping

I Spamfallen: versteckte, nicht-existierende MailadressenI alles was an diese Adresse gesendet wird ist Spam: gut für

Analyse via BayesI Greytrapping: temporäres Sperren eines Mailservers der

an eine Spamfalle E-Mails sendetI beschäftigen Spammer mit unnötiger ArbeitI dynamische Adressen und Weblogs können Beweise für

Gerichtsverfahren liefern

E-Mail

Methoden der Spambekämpfung

Tokenbasierte und Challenge–Response–Verfahren

I spezieller Token innerhalb einer E-Mail notwending, wirdüber Bounce erhalten

I manchmal auch alternative Wege wie Webbestätigungerforderlich

I Vorgang meist nur einmal notwendigI Verfahren ist sehr effektivI jedoch nicht ratsam, hohe Hürde für normale

MailversenderI Verwendung mit Mailinglisten hoffnungslos: Whitelists

notwendig

E-Mail

Methoden der Spambekämpfung

Bounce Address Tag Validation (BATV)

I Vermeidung von falschen BouncesI spezielle Tags in Envelope-From Adresse, individuelle

AbsenderadressenI funktioniert nicht mit GreylistingI local-part darf nur maximal 64 Zeichen lang seinI BATV muß schwer ratbar und Tag ständig erneuert

werden, Tracking der vergebenen TagsI hilft nur gegen Kollateral–SpamI möglicher Gewinn rechtfertigt nicht den Aufwand

E-Mail

Theoretische Verfahren

Elektronische Briefmarken

I Idee: Kosten pro E-Mail treffen hauptsächlich SpammerI Gewinnreduzierung beim Spammer, diese verlieren

InteresseI Frage der Geldeintreibung offen: MicropaymentI interessante Idee: Empfänger bekommt das Geld,

spamlesen wird lukrativI Variante: Whitelisten für bestätigte KontakteI Probleme: legitime Massenversendungen, Mailinglisten

E-Mail

Theoretische Verfahren

Proof-of-Work

I Idee ähnlich der elektronischen BriefmarkeI hohe CPU-Last vor dem Versenden erschwert Spammern

das LebenI wenig CPU-Last zur VerifizierungI Bot–Netze haben viel Rechenleistung, daher wenig

erfolgversprechendI derzeit kaum Verbreitung, praktisch keine VerwendungI mögliches Verfahren: HashCashI Problem: Muß pro E-Mail unterschiedlich sein, was ist mit

Relaying über mehrere Server?

E-Mail

Theoretische Verfahren

Dedizierte Mailserver

I Zustellung nur über spezielle Mailserver möglichI effektives Verfolgen von Spamversendern möglichI Problem: alle ISPs müssen mitmachen und Port 25

entsprechend filternI Problem: zuviel Macht bei ISPs?I Wer regelt wer Mailserver betreiben darf?

E-Mail

Theoretische Verfahren

Verbot von Spam

I derzeit ist Spamversand erlaubtI Verbot müßte weltweit geltenI konsequente Verfolgung notwendigI Sperrung von IP-Adressen aus Ländern die Spam

erlauben denkbarI mögliches Problem: zuviel Macht für den Staat?

E-Mail

Abschluß

Schlußbemerkungen

I eine perfekte Lösung gibt es nichtI nicht alle Verfahren eignen sich überallI Kombination mehrerer Verfahren ratsamI juristische Aspekte dürfen nicht vergessen werdenI Reihenfolge mitunter wichtig (Ressourcenverbrauch)I heute funktionierende Verfahren müssen nicht morgen

auch noch erfolgreich sein, Spammer passen sich an

E-Mail

Abschluß

Was noch fehlt

I 4. Teil?I Mailboxformate: mbox, MH, Maildir und VariantenI POP: pop2, pop3, pop3sI IMAP, IMAPSI Sieve-Filter

I Diskussion — die darf nun beginnen