Monitoring
Nächtliche Gegenprobe
45 Zeilen Python, nur Standardbibliothek. Läuft nach dem Neuaufbau um 4:40, liest nur, höchstens 20 Abrufe, einer pro Sekunde, und meldet jede Abweichung mit Exit-Code 1.
Das Skript gleicht die Magazin-Sitemap mit allen Verzeichnissen ab, die llms.txt nennt, prüft die robots.txt und ruft index.md für drei zufällige Beiträge und die Startseite ab.
Zuerst der Testlauf gegen die Live-Seite am 19.11.2026, dann der vollständige Quelltext.
python gegenprobe.py
Testlauf gestartet: 2026-11-19 14:14:46ABWEICHUNG: 2947 von 2947 Magazinbeiträgen (DE + EN) fehlen in den 6 llms-VerzeichnissenABWEICHUNG: robots.txt nennt keine /magazin/llms.txtABWEICHUNG: index.md fehlt: https://www.mtrlegal.com/magazin/urheberrechtliche-fragen-bei-ki-generierten-inhalten-klaeren/ (Status 404)ABWEICHUNG: index.md fehlt: https://www.mtrlegal.com/magazin/neu-sonstige-laut-artikelbeschreibung-nicht-identisch-mit-neuware/ (Status 404)ABWEICHUNG: index.md fehlt: https://www.mtrlegal.com/magazin/dsgvo-beweislast-bei-fehlerhaften-daten-wer-ist-verantwortlich/ (Status 404)ABWEICHUNG: index.md fehlt: https://www.mtrlegal.com/ (Status 404) | Abrufe: 15Exit-Code: 1Testlauf beendet: 2026-11-19 14:15:10
gegenprobe.py · Vorschlag
1"""Nächtliche Gegenprobe der KI-Schicht (Vorschlag), z. B. 05:00 nach dem Neuaufbau um 04:40.2Gleicht die Magazin-Sitemap (DE + EN) mit allen llms-Verzeichnissen der Hauptinstanz ab und prüft3index.md in Stichproben. Nur lesende Abrufe, höchstens 20, einer pro Sekunde. Exit 1 bei Abweichung."""4import random, re, sys, time, urllib.error, urllib.request56BASIS, MAX_ABRUFE, STICHPROBE = "https://www.mtrlegal.com", 20, 37abrufe, funde = 0, []8sys.stdout.reconfigure(encoding="utf-8")910def hole(url):11 global abrufe12 if abrufe >= MAX_ABRUFE:13 sys.exit("Abbruch: Grenze von %d Abrufen erreicht" % MAX_ABRUFE)14 abrufe += 115 time.sleep(1)16 anfrage = urllib.request.Request(url, headers={"User-Agent": "mtr-gegenprobe/1.0"})17 try:18 with urllib.request.urlopen(anfrage, timeout=60) as a:19 return a.status, a.headers.get("Content-Type", ""), a.read().decode("utf-8", "replace")20 except urllib.error.HTTPError as f:21 return f.code, f.headers.get("Content-Type", ""), ""2223index = hole(BASIS + "/llms.txt")[2]24verzeichnisse = re.findall(r"\((https://www\.mtrlegal\.com/llms-(?!full)[a-z]+\.txt)\)", index)25gelistet = set()26for v in verzeichnisse:27 gelistet |= set(re.findall(r"\]\((https://[^)\s]+)\)", hole(v)[2]))2829teile = re.findall(r"<loc>([^<]+-post-(?:de|en)\.xml)</loc>", hole(BASIS + "/magazin/sitemap.xml")[2])30beitraege = [u for t in teile for u in re.findall(r"<url><loc>([^<]+)</loc>", hole(t)[2])]31fehlen = [u for u in beitraege if u not in gelistet]32if fehlen:33 funde.append("%d von %d Magazinbeiträgen (DE + EN) fehlen in den %d llms-Verzeichnissen"34 % (len(fehlen), len(beitraege), len(verzeichnisse)))3536if "/magazin/llms.txt" not in hole(BASIS + "/robots.txt")[2]:37 funde.append("robots.txt nennt keine /magazin/llms.txt")3839for url in random.sample(beitraege, min(STICHPROBE, len(beitraege))) + [BASIS + "/"]:40 status, typ, _ = hole(url + "index.md")41 if status != 200 or "markdown" not in typ:42 funde.append("index.md fehlt: %s (Status %d)" % (url, status))4344print("\n".join(["ABWEICHUNG: " + f for f in funde] or ["OK"]), "| Abrufe:", abrufe)45sys.exit(1 if funde else 0)