Zum Inhalt springen

Blog

Digitalisierung5 Min. Lesezeit

Branchendaten mit Octoparse sammeln: Was der Gratis-Tarif kann und was erlaubt ist

Octoparse zieht Daten aus Webseiten in eine Tabelle, ohne Programmierkenntnisse. Limits des Free-Tarifs, die Schritte für den ersten Task und die rechtlichen Grenzen beim Auslesen fremder Seiten.

  • #digitalisierung
  • #web
  • #tools
Aktualisiert am

KI-unterstützt · redaktionell geprüft Details

Schrift
Auch alsMarkdownJSON

Octoparse ist ein Programm, mit dem man Daten aus Webseiten in eine Tabelle zieht, ohne selbst zu programmieren: Man ruft eine Seite im eingebauten Browser auf, klickt die gewünschten Felder an, und das Programm sammelt sie über viele Seiten hinweg ein. Für einen kleinen Betrieb kann das nützlich sein, etwa um Preise aus einem Lieferantenkatalog oder Einträge aus einem Branchenverzeichnis zu erfassen. Bevor man den ersten Task startet, sollte man allerdings wissen, was der kostenlose Tarif tatsächlich hergibt und wo die rechtlichen Grenzen liegen.

Was der kostenlose Tarif kann

Laut der Preisseite von Octoparse umfasst der Free-Tarif zehn Tasks, ein Gerät und einen Nutzer. Pro Monat lassen sich bis zu 50.000 Datenzeilen exportieren, pro Export höchstens 10.000. Als Formate stehen unter anderem Excel, CSV und JSON zur Verfügung.

Wichtiger als die Zeilenzahl ist, was fehlt. Im Tarifvergleich des Hilfe-Centers sind für den Free-Tarif weder die Cloud-Extraktion noch geplante Läufe enthalten. Jeder Task läuft also lokal auf dem eigenen Rechner, höchstens zwei gleichzeitig, und nur, solange der Rechner an ist und das Programm offen bleibt. Automatische IP-Rotation gibt es erst ab dem Standard-Tarif, der laut Preisseite bei 69 US-Dollar im Monat bei jährlicher Zahlung beginnt.

Vorher klären: Welche Daten darf man einsammeln?

Dass eine Seite öffentlich erreichbar ist, heißt nicht, dass man ihren Inhalt beliebig kopieren darf. In Deutschland spielen vor allem drei Punkte eine Rolle:

  • Datenbankschutz: Wer eine Datenbank aufgebaut hat, etwa ein Branchenverzeichnis oder einen Produktkatalog, hat nach § 87b UrhG das ausschließliche Recht, sie ganz oder in wesentlichen Teilen zu vervielfältigen. Auch das wiederholte und systematische Kopieren kleiner Teile kann darunter fallen. Das komplette Abziehen eines fremden Verzeichnisses ist daher heikel.
  • Text und Data Mining: § 44b UrhG erlaubt Vervielfältigungen für die automatisierte Analyse, etwa um Trends oder Muster zu erkennen. Die Kopien sind zu löschen, wenn sie nicht mehr gebraucht werden, und die Erlaubnis entfällt, wenn der Rechteinhaber sie bei Online-Inhalten maschinenlesbar ausgeschlossen hat.
  • Personenbezogene Daten: Namen, E-Mail-Adressen und Telefonnummern von Ansprechpartnern sind personenbezogene Daten. Wer sie sammelt, braucht dafür eine Rechtsgrundlage nach der DSGVO, und für Werbe-E-Mails an gesammelte Adressen ist nach § 7 UWG grundsätzlich eine vorherige Einwilligung nötig.

Zum Auslesen fremder Seiten an sich hat der Bundesgerichtshof 2014 im Fall Ryanair entschieden, dass automatisiertes Auslesen von Flugdaten nicht schon deshalb unlauter ist, weil es gegen die Nutzungsbedingungen der Website verstößt. Das Überwinden technischer Schutzvorrichtungen kann dagegen unlauter sein (LTO zum Urteil I ZR 224/12). Für die Praxis heißt das: Sperren, Captchas und Login-Schranken umgeht man nicht. Wer Daten für mehr als einen gelegentlichen Überblick braucht, sollte das vorher mit einer Anwältin klären. Dieser Artikel ist keine Rechtsberatung.

Ein Task Schritt für Schritt

Die folgenden Schritte entsprechen der Einsteiger-Anleitung im Hilfe-Center. Die Oberfläche ist englisch, die Bezeichnungen stehen deshalb so, wie sie im Programm erscheinen.

  1. Programm installieren und anmelden: Die Desktop-Anwendung gibt es auf octoparse.com. Für den Free-Tarif reicht ein kostenloses Konto.
  2. Task anlegen: Die Adresse der Zielseite in die Suchleiste eingeben und auf „Start“ klicken. Die Seite öffnet sich im eingebauten Browser.
  3. Daten erkennen lassen: Im Tips-Panel „Auto-detect web page data“ wählen. Octoparse schlägt Felder vor, etwa Name, Preis oder Link. In der Datenvorschau entfernt man über das Papierkorb-Symbol, was nicht gebraucht wird, und benennt die übrigen Spalten sinnvoll.
  4. Mehrere Seiten einbeziehen: Lädt die Seite beim Scrollen nach, „Add a page scroll“ anhaken. Ist die Liste auf mehrere Seiten verteilt, „Paginate to scrape more pages“ aktivieren und prüfen, ob die richtige Schaltfläche für die nächste Seite markiert ist.
  5. Workflow erzeugen: Mit „Create workflow“ legt Octoparse die Abfolge an. Die Anleitung empfiehlt, den Ablauf einmal Schritt für Schritt von oben nach unten durchzuklicken.
  6. Lokal ausführen: Den Task lokal starten und beobachten, ob die Daten ankommen.
  7. Exportieren: In der Task-Liste den Status des Tasks öffnen, unten auf „Export Data“ klicken und das Format wählen.

Für Seiten mit einer „Mehr laden“-Schaltfläche gibt es eine eigene Anleitung. Dort lässt sich festlegen, wie oft geklickt wird und wie lange Octoparse nach jedem Klick auf neue Einträge wartet. Tauchen viele doppelte Zeilen auf, hilft laut Anleitung ein umgebauter Workflow, der erst alle Einträge lädt und dann ausliest.

Wenn die Seite blockiert

Manche Seiten bremsen oder sperren Zugriffe, die zu schnell hintereinander kommen. Naheliegend scheint dann, einen kostenlosen Proxy-Dienst einzutragen oder das Captcha zu umgehen, und von beidem ist abzuraten. Kostenlose Proxys sind unzuverlässig, und man schickt seinen Datenverkehr über fremde Server, deren Betreiber man nicht kennt. Eine Sperre oder ein Captcha ist außerdem genau die Art technischer Schutzvorrichtung, deren Überwindung der BGH als möglicherweise unlauter einstuft.

Sinnvoller ist es, langsamer abzufragen, weniger Seiten auf einmal zu holen oder beim Anbieter nachzufragen. Viele Verzeichnisse und Lieferanten bieten Exportdateien, Preislisten oder eine Schnittstelle an, und das ist meist sauberer als jedes Scraping.

Wann Octoparse passt und wann nicht

Gut geeignet ist das Programm für gelegentliche Erhebungen von überschaubarem Umfang: eine Liste öffentlich zugänglicher Daten, die man einmal im Quartal aktualisiert und dann in Excel weiterverarbeitet. Dafür reichen zehn Tasks und 50.000 Zeilen im Monat meist aus.

Weniger geeignet ist es, wenn Daten täglich und automatisch fließen sollen, denn ohne Cloud-Läufe und Zeitplanung muss jemand den Task von Hand anstoßen. Seiten hinter einem Login, Shops mit aktiver Bot-Abwehr und Plattformen, deren Bedingungen das automatisierte Auslesen ausdrücklich untersagen und dies technisch durchsetzen, sind ebenfalls kein Fall für den Free-Tarif. Wer merkt, dass die eigene Aufgabe in diese Richtung geht, ist mit einer Anfrage beim Datenanbieter meist schneller am Ziel als mit einem kostenpflichtigen Scraping-Tarif.

Verantwortlich: Yusuf Senel. Entstanden mit KI-Unterstützung, nach dem Erscheinen redaktionell geprüft. So arbeitet wischtig.de

Weiterlesen