Ein Symptom-Tracker, der jeden Faktor mit jedem Symptom vergleicht, findet immer etwas. Vergleich zehn Tracker über vier Zeitabstände, und du hast ein paar Monaten verrauschter Daten mehrere hundert Fragen gestellt; eine Handvoll davon kommt zurück und sieht aus wie eine Antwort. Frühere Builds von Longnote hatten eine einzige Schwelle dafür, wann ein Zusammenhang angezeigt wird, abgestuft danach, wie viele Daten es gab. Getestet an künstlich erzeugten Einträgen mit bekannten, absichtlich eingebauten Effekten waren von fünf Zusammenhängen, die diese Schwelle nach 90 Tagen hervorhob, etwa drei falsch. Ehrlich ist ein Tracker so nicht. Also hat sich die Regel geändert.
Die drei Stufen
Beobachtung. Eine Tatsache über die eigenen Einträge eines Trackers: an 18 der letzten 30 Tage eingetragen, im Schnitt 4 von 10, am schlimmsten dienstags. Sie kann nicht falsch sein, und sie behauptet nichts darüber, warum.
Erstes Anzeichen. Ein möglicher Zusammenhang zwischen zwei Dingen, die sich über weniger als 60 Tage überschneiden. Es ist als Vermutung formuliert, nennt seine Zahl an Tagen und beschränkt sich auf denselben Tag oder den Folgetag, denn größere Zeitabstände waren in den Testdaten meist Zufall. Es wird immer nur ein erstes Anzeichen gezeigt; in den Tests lag ein zweites öfter falsch als richtig.
Muster. Ein Zusammenhang, der sich über mindestens 30 Tage überschneidet, eine Prüfung auf Falschentdeckungen nach Benjamini–Hochberg über alle Paare und Zeitabstände besteht, die die App durchsucht hat, bei einer Rate von einem Zehntel, und im angezeigten Zeitraum immer noch in dieselbe Richtung zeigt. Die Prüfung zählt bewusst jeden Vergleich mit, auch die gescheiterten: Wer die Verlierer weglässt, rechnet die Familie der Tests kleiner, als sie ist, und lässt Rauschen durch.
Eine vierte Stufe, nur in Listen
Hinweis. Seit dem 2. Oktober sind die Listen zum Stöbern – die Wetter-Ansicht und Hängt damit zusammen – großzügiger als die Highlights. Sie zeigen jeden noch nicht bestätigten Zusammenhang am selben Tag oder am Folgetag, der die Schwelle schafft, egal nach wie vielen Tagen; ein erstes Anzeichen ist dort also nicht auf eines beschränkt. Beruht eine Seite eines Vergleichs nur auf drei oder vier Tagen, erscheint der Zusammenhang als Hinweis, mit beiden Zahlen in der Beschriftung: Hinweis · 3 Tage mit, 12 ohne. Ein Hinweis landet nie in den Highlights, in der Zusammenfassung, auf einer Kachel auf Start oder in der Wetterzeile in der Übersicht eines Trackers. Listen sind zum Stöbern in deinen eigenen Einträgen da; Highlights sind das, wofür die App mit ihrem Namen einsteht.
Die Worte zur Datenlage
Neben jedem Zusammenhang steht ein Wort: wenige Daten, ordentliche Datenlage oder gute Datenlage. Wenige Daten heißt: weniger als 30 Tage Überschneidung, oder ein benachbarter Zeitabstand, der klar widerspricht, oder ein Vergleich, der auf einer Seite auf weniger als acht Tagen beruht. Gut heißt: mindestens 60 Tage, ohne Widerspruch, und ein um die Zeitabstände bereinigter p-Wert, der klein genug ist, um einen Durchlauf über hundert Paare zu überstehen. Alles andere ist ordentlich. Ein Zusammenhang mit wenigen Daten heißt nie stark, egal wie hoch seine Korrelation ist, denn „starker Zusammenhang nach zwölf Tagen“ ist genau die Falle, für deren Vermeidung dieses ganze Design existiert.
Wie das aussieht
Wetter- und Faktorkarten enden mit der Zeile Zusammenhänge, keine Ursachen. Ein erstes Anzeichen sagt „bisher“. Ein Vergleich zeigt beide Zahlen: an 11 von 15 Regentagen eingetragen und an 9 von 15 trockenen. Und wenn es noch nicht genug Daten gibt, sagen die Highlights genau das, „Noch keine Muster“, denn auch das ist ein Ergebnis, und oft das nützlichste.
Woran es eingestellt ist
An künstlichen Einträgen mit eingebauten Effekten, bei denen die richtige Antwort also bekannt ist, und an einem direkten Vergleich mit den Auswertungen eines anderen Trackers über dieselben 60 Tage. Der deutlichste Befund aus diesem Vergleich: „gute Datenlage“ wurde für reines Rauschen vergeben. Deshalb endet eine Überschneidung von zwei Monaten jetzt bei ordentlich, wenn der Zusammenhang so schwach ist, dass ein so breiter Durchlauf ihn auch zufällig finden würde. Nichts davon macht die Aussagen der App wahr. Es macht sie ehrlich darin, wie viel Gewissheit sie haben – und das ist es, was man von einem Tagebuch tatsächlich verlangen kann.