- Preis
- 20,40 €/Monat
- Du sparst
- 244,80 €/Jahr
- Bauzeit
- ein Wochenende
Einen soliden Crawler, der Statuscodes, Redirect-Ketten, doppelte Titles und kaputte Links findet, baust du mit einer Crawl-Library an einem Wochenende. Die harten Teile sind JavaScript-Rendering, Speicher-Management bei 100.000+ URLs und die ausgereifte Auswertungs-UI. Für die eigene Website reicht der Eigenbau oft — für Kunden-Audits eher nicht.
Der Prompt
Bau mir einen technischen SEO-Crawler als CLI-Tool fuer meine eigene Website — ein Mini-Screaming-Frog. Stack: Node.js mit TypeScript, crawlee (CheerioCrawler) fuers Crawling, Ergebnisse in SQLite (better-sqlite3), Reports als CSV und Markdown in ./reports. Aufruf: node crawl.js https://meineseite.de --max 5000 Der Crawler soll: 1. Nur die Start-Domain crawlen, robots.txt respektieren, max. 4 parallele Requests. 2. Pro URL speichern: Statuscode, Title, Meta-Description, H1, Canonical, Robots-Meta, Antwortzeit, Seitengroesse, Tiefe ab Startseite und alle internen Links. 3. Redirect-Ketten verfolgen und komplett aufzeichnen (A -> B -> C). Nach dem Crawl automatisch diese Reports erzeugen: - broken-links.csv: alle 4xx/5xx mit den Seiten, die darauf verlinken. - redirects.csv: Ketten mit mehr als einem Hop zuerst. - duplicates.csv: doppelte Titles, Meta-Descriptions und H1s gruppiert. - missing.csv: Seiten ohne Title, Description oder H1. - summary.md: Kennzahlen (URLs gesamt, Fehlerquoten, tiefste Seiten) plus Top-10-Probleme. Zusaetzlich: Abgleich mit der sitemap.xml — welche gecrawlten Seiten fehlen in der Sitemap und welche Sitemap-URLs sind nicht erreichbar. Jeder Crawl bekommt einen Zeitstempel in SQLite, damit ich zwei Crawls per node compare.js <id1> <id2> vergleichen kann (neue/verschwundene Fehler). Schreib eine README mit Setup, Beispielaufrufen und dem Hinweis, dass JS-lastige Seiten ohne Rendering nur eingeschraenkt geprueft werden.
Lies, was Entscheider lesen.
Jeden Sonntag das Wichtigste aus der KI-Welt. Kompakt, verständlich, praxisnah. Schließe dich über 4.500 Lesern an.
100 % kostenlos. Jederzeit mit einem Klick abmeldbar.
Was du verlierst
- JavaScript-Rendering mit eingebautem Chrome
- Crawls mit Hunderttausenden URLs
- GSC- und Analytics-Anbindung im Audit
- Visualisierungen und Vergleichs-Crawls
Warum Leute trotzdem zahlen
SEO-Profis crawlen fremde, große und kaputte Websites — genau da spielt die gereifte Engine ihre Stärken aus. Und 245 € im Jahr sind für Agenturen ein Rundungsfehler.
Für den Eigenbedarf reicht der Eigenbau oben meistens.
Die Zahlen
| Plan | Monatlich | Jährlich (pro Monat) | Enthalten |
|---|---|---|---|
| Paid Licence | 20,40 € / Nutzer | n. a. | Unbegrenzte URLs, JavaScript-Rendering, Scheduling, API-Anbindungen; 245 €/Jahr. |
- Gratis-Version
- Gratis-Version crawlt bis 500 URLs pro Crawl — für kleine Sites oft genug.
- Abrechnung
- nur jährliche Lizenz, 245 € pro Jahr und Nutzer
Geprüft am 31.08.2026 · Quelle
Häufige Fragen
Preis, Nachbau und Ersparnis von Screaming Frog SEO Spider auf einen Blick.
Was kostet Screaming Frog SEO Spider?
Screaming Frog SEO Spider kostet im Plan „Paid Licence" 20,40 € pro Monat (geprüft am 31.08.2026). Gratis-Version: Gratis-Version crawlt bis 500 URLs pro Crawl — für kleine Sites oft genug.
Kann ich Screaming Frog SEO Spider mit KI selbst nachbauen?
Jein, Wochenendprojekt: Einen soliden Crawler, der Statuscodes, Redirect-Ketten, doppelte Titles und kaputte Links findet, baust du mit einer Crawl-Library an einem Wochenende. Die harten Teile sind JavaScript-Rendering, Speicher-Management bei 100.000+ URLs und die ausgereifte Auswertungs-UI. Für die eigene Website reicht der Eigenbau oft — für Kunden-Audits eher nicht.
Was verliere ich, wenn ich Screaming Frog SEO Spider ersetze?
Beim Eigenbau verzichtest du auf: JavaScript-Rendering mit eingebautem Chrome, Crawls mit Hunderttausenden URLs, GSC- und Analytics-Anbindung im Audit, Visualisierungen und Vergleichs-Crawls.
Wie viel spare ich, wenn ich Screaming Frog SEO Spider ersetze?
Das Abo kostet 20,40 € pro Monat — aufs Jahr gerechnet sparst du rund 244,80 €.
Auch auf dem Prüfstand
Alle ToolsNein
Ahrefs
SEO-Suite mit eigenem Crawler: Backlinks, Keywords, Rank-Tracking und Site-Audits.
116 €/Monat
Nein
Semrush
All-in-one-Marketing-Suite: Keywords, Backlinks, Ads-Recherche und Site-Audits.
126 €/Monat
Ja
Yoast SEO Premium
WordPress-Plugin für On-Page-SEO: Snippet-Vorschau, Lesbarkeit, Redirects, Schema.
9,90 €/Monat