Webseite Plenum

Incidentreport: Newsletterversandprobleme, 27. - 30. Mai 2018

transparenz
incident-report

#1

Wie einige von euch sicher gemerkt haben, gab es in den letzten Tagen Probleme beim Newsletter-Versand, der zu zwei unschönen Dingen geführt hat:

  • der Versand an Personen, die den Newsletter eigentlich abbestellt haben,
  • sowie den teilweise doppelten Versand der selben E-Mails.

Ich möchte hier kurz die Ergebnisse der Fehleranalyse, sowie die getroffenen Maßnahmen erläutern.

Dazu aber kurz einige Hintergrund Information: Im Zuge der Vorbereitungen für die DSGVO, und um die volle Kontrolle über die Newsletter-Daten im Hause zu haben, wurde Anfang des Jahres der Umzug des vorherigen Newsletter-Providers - CleverReach - auf ein eigenes System, welches auf der OpenSource-Software Mautic läuft, begonnen. Wir hatten Mautic schon vorher erfolgreich im Einsatz - es wird für die Verwaltung und den Versand von Iris, sowie Harriet genutzt, und waren damit durchweg zufrieden. Also stellten wir im April 2018 auf den Versand durch Mautic um in dem wir die Informationen aus Cleverreach ex- und in Mautic importierten.


Versand an ausgetragene Personen: Im Gegensatz zu der Standard-Anzeige und Funktionalität der Cleverreach Overfläche, die normalerweise nur den Zugriff auf die aktivierten E-Mail-Adresse darstellt, enthält der Export auch jene E-Mail-Adressen, die deaktiviert wurden. Diese Information ist in Form eines Datums-Feld, welches den Deaktivierungs-Tag enthält, gespeichert. Beim Import in Mautic ist diese Information aber nicht korrekt importiert worden; Mautic speichert diese Information nicht als Datum, sondern als Ja-Nein-Feld - weil ein korrektes Mapping nicht da war und beim Import selbst davon ausgegangen wurde, es handele sich eh nur um die aktiven Newsletter-Daten, sind alle Daten als “aktive Abbonnenten” hinzugefügt worden - darunter fälschlicherweise auch einige, die den Newsletter bereits abbestellt hatten.

Dies ist bereits im Mitte April durchgeführt worden, aber der Fehler ist jetzt erst aufgefallen, als es erste Anfragen im Zuge der DSGVO bezüglich bestimmter von uns gespeicherter Daten gab. Dabei ist heute aufgefallen, dass Personen, die nach Auskunft gefragt hatten in Cleverreach als sich bereits letztes Jahr deaktiviert eingetragen haben, dennoch im Mautic zu finden sind. Dies hat eine Untersuchung ausgelöst und den oben genannten Fehler identifiziert. Dies ist umgehend durch einen erneuten Import der abgeschalteten Adresse mit dem richtigen Flag in Mautic behoben worden - so eben am 30. Mai 2018.


Doppelter Newsletterversand: Am letzten Sonntag, den 27. Mai, ist ein Massen-Email-Versand an den ganzen Verteiler angestoßen worden. Aus zunächst ungeklärten Gründen wurden die E-Mails zwar als zu versenden bereit gestellt, aber nicht wirklich versand. Um dennoch einen Versand zu gewährleisten, ist der manuelle Versand angestoßen worden. Dabei werden die E-Mail-Adressen aber scheinbar nicht als versandt markiert. Der vorligenden Fehler sich dadurch aber scheinbar auflösen lässt und damit Tags drauf der automatische Versand angestoßen wurde - wodurch einige Personen die E-Mail zwei mal zugestellt worden ist. Sobald dies auffiel, ist die E-Mail auf unveröffentlicht gestellt worden um einen weiteren Verandt zu unterbinden.

Der eigentliche Fehler hat sich aber erst am Dienstag finden lassen, wo eine zweiter E-Mail-Versand erneut mit das Problem zeigte. Nachdem zunächst auch ein manueller Versand angestoßen worden ist, zeigte sich, dass der Fehler in der großen Anzahl an E-Mails erzeugt wurde: beim Versuch diese Abzuarbeiten ist der Prozess abgestürtzt, da dieser nicht über genug Arbeitsspeicher verfügte. Wie sich herausstellste, lief unser System auf 128MB (der Standard-Einstellung), dabei braucht Mautic im Produktions-Betrieb 512MB - warum dies auf den von uns eingesetzen Docker-Containern nicht der Fall war, ist nicht mehr nachvollziehbar.

Nachdem also der manuelle Versand auch diesmal dazu führte, dass der automatische Versand dann ging, ist dieser zunächste abgewartet worden, dann die notwendigen Einstellungen gemacht und das System neugestartet worden. Das System hat uns die Änderung auch bestätigt und zeigt jetzt einen maximal Verbraucht von 512MB an. Damit sollte von nun an der automatische Versand wieder funktionieren und ein weiterer, durch den manuellen Versand erzeugter, doppelter Versand ausgeschlossen sein. Also positiver Nebeneffekt ist die Oberfläche von Mautic auch deutlich schneller :wink: .


#2

Dieses Thema wurde automatisch 7 Tage nach der letzten Antwort geschlossen. Es sind keine neuen Nachrichten mehr erlaubt.