Datenbasis und Web-Crawling

Stufe 1 der digitalen Marktforschung: woher die Daten kommen, die eine KI später auswertet.

Datenstrategie besprechen

Die Qualität der Auswertung entscheidet sich hier

Eine Marktanalyse ist nur so gut wie der Stoff, auf dem sie aufsetzt. Fehlt eine wichtige Quelle, fehlt später ein Thema, und niemand merkt es: Die Auswertung wirkt vollständig, weil sie zu den Daten passt, die da sind.

Deshalb ist die erste Stufe keine reine Technikaufgabe. Sie beginnt mit der Frage, wo Ihre Zielgruppe tatsächlich schreibt, und endet mit einem Datenbestand, der weiterwächst, statt zu einem Stichtag einzufrieren.

Vier Bausteine der Datenerhebung

Relevante Datenquellen

Nicht jede Quelle taugt für jede Frage. Wer wissen will, wie über ein Produkt geredet wird, findet das in Foren und auf Bewertungsportalen. Wer eine Regulierung kommen sieht, liest Fachmedien. Deshalb steht am Anfang jedes Projekts eine Auswahl, die zur Fragestellung passt.

Nachrichten- und Fachportale
Foren, Webseiten und Blogs
Social-Media-Kanäle

Angepasste Web-Crawler

Unser Crawling-Framework ist fertig gebaut, die Parameter setzen wir je Projekt neu. Der Crawler folgt weiterführenden Links selbständig und erweitert die Datenbasis dadurch über die Startliste hinaus.

Parametrisierung je Fragestellung
Selbständiges Verfolgen von Links
Laufende Erweiterung der Startliste

Relevanzprüfung

Ein Crawler, der alles mitnimmt, produziert eine Halde statt einer Datenbasis. Jeder neu gefundene Inhalt wird deshalb vor der Speicherung darauf geprüft, ob er zur Fragestellung etwas beiträgt.

Prüfung vor dem Speichern
Kein Datenmüll in der Auswertung
Ausschließlich öffentlich zugängliche Inhalte

Data Warehouse mit Historie

Jedes Projekt bekommt ein eigenes Data Warehouse. Weil der Crawler weiterläuft und nichts gelöscht wird, lässt sich derselbe Datenbestand zweimal befragen: heute für eine Momentaufnahme, in sechs Monaten für die Entwicklung dazwischen.

Projektspezifische Ablage
Laufendes Monitoring statt Einmalerhebung
Historische Analysen über längere Zeiträume

Häufige Fragen zur Datenbasis

Wie viele Quellen braucht eine belastbare Datenbasis?

Das hängt an der Frage, nicht an einer Zielzahl. Für ein Nischenprodukt mit zwei aktiven Fachforen kann eine kleine, dafür einschlägige Auswahl mehr tragen als hundert allgemeine Portale. Wir legen die Quellen im ersten Gespräch fest und erweitern sie, wenn die ersten Auswertungen zeigen, wo noch etwas fehlt.

Wie lange dauert der Aufbau der Datenbasis?

Die Startliste steht nach dem ersten Gespräch, der Crawler liefert die ersten auswertbaren Mengen innerhalb weniger Tage. Die Datenbasis ist damit nicht fertig, sondern in Betrieb: Sie wächst, solange das Projekt läuft.

Welche Daten erheben wir nicht?

Alles, was nicht öffentlich zugänglich ist. Wir umgehen dafür keine Anmeldeschranke. Die erhobenen Inhalte verarbeiten wir auf Servern in der Europäischen Union. Mehr dazu in den häufigen Fragen zur digitalen Marktforschung.

Die drei Stufen der digitalen Marktforschung

Die Datenbasis ist die erste von drei Stufen unserer digitalen Marktforschung. So geht es weiter:

2. Analyse-Engine 3. Reporting und Handlungsempfehlungen

Die richtige Datenbasis für Ihre Marktforschung

In einem kostenlosen Erstgespräch besprechen wir, welche Datenquellen für Ihre Fragestellung relevant sind und wie wir diese systematisch erschließen.

Kostenloses Erstgespräch vereinbaren Online Digitalisierungs-Check starten

Oder schreiben Sie uns direkt: [email protected] | +43 660 31 96 763