Revival der robots.txt?

Über Sinn oder Unsinn der robots.txt gibt es verschiedene Ansichten, mitunter weil sie von manchen Web-Crawlern ignoriert wird. Wenn Sie in der Pflicht sind, als Verantwortlicher eines Unternehmens bestimmte Inhalte im Web vor Ausbeutung durch Suchmaschinen mit künstlicher Intelligenz zu schützen, kann die Verwendung der robots.txt ein Baustein sein:

Im Rechtsstreit über Urheberrechtsverletzungen wegen Inhalten, die ein Large Language Model zusammenstellt und ausgibt, kann es hilfreich sein, zu belegen, dass bestimmte Seiten von der Indexierung ausgenommen waren, weil man diese Inhalte nicht im Web an anderer Stelle wiederfinden wollte, gerade weil man ihnen besonderen urheberrechtlichen Wert beimisst.

Will ein fertigendes technisches Unternehmen zum Beispiel besonders detaillierte technische Beschreibungen nicht in Antworten einer fremden KI sehen, so ist es zu raten, eine inhaltlich einfacher gestaltete Web-Seite zu generieren, über die der Nutzer zu einer komplexen Seite der Webpräsenz des Unternehmens gelangt. Dem suchenden Roboter kann dann vorgeschrieben werden, die einfache – nicht aber die komplexe Seite zu crawlen. Sinnvoller wäre es noch, alle urheberrechtlich geschützte Inhalte von besonders hohem Wert in einem Verzeichnis zusammenzufassen und in der robots.txt z.B. so auszuschließen:

User-agent: *
Disallow: /diesesverzeichnis/

Die Kopie der einschlägigen Vermerke in der robots.txt helfen dem Rechtsanwalt im Verletzer-Prozess gegen KI-Anwendungs-Anbieter.

Und – ja der Anwalt weiß: Die Begeisterung bei den für SEO Verantwortlichen wird nicht steigen, wenn besonders „unique“ Inhalte vom crawlen ausgenommen werden sollen. Wer gegen diese Ausnahmen ist, sollte dann aber wenigstens die KI-Suchmaschinen-Ergebnisse dahingehend überwachen, ob Zitate über die Herkunft der Inhalte (richtig) aufgeführt werden.

AI changes SEO

Die Entwicklung künstlicher Intelligenz, insbesondere Verbraucher-freundlicher Programme mit Sprach-Inferfaces, bringt Herausforderungen für Marketing- und Rechtsabteilungen.

Einerseits kann generative KI dazu verwendet, werden, Artikel (und anderen „Content“ in Textform) schnell schreiben zu lassen, die ein gesteigertes Ranking nach Einbindung in die eigenen Webpräsenz ermöglichen. Es ist aber davon auszugehen, dass Suchmaschinen künstlich generierte Artikel künftig an der Art der Zusammensetzung erkennen und geringer ranken. Selbst geschriebene Artikel sind aus rechtlicher Sicht vorzugsweise zu empfehlen, weil Urheber und Lizenz z.B. für den Arbeitgeber nachvollziehbar sind. Momentan gibt es bei den verbreiteten, kostenlos zugänglichen Sprachmodellen keine Garantie, dass der Bot bei der Formulierung keine Urheberrechte verletzt (Sprachwerke im Sinne des § 2 I Nr. 1 UrhG sind z.B. betroffen).

Aus rechtlicher Sicht ist außerdem wichtig, dass die Verantwortlichkeit des Inhalts der Artikel besteht, wenn man diese in die Webpräsenz einbindet. Daher müssen generierte Artikel daraufhin untersucht werden, ob sie über das eigene Unternehmen nicht wettbewerbswidrige Aussagen machen, wie zum Beispiel über die Unternehmensgröße, Marktmacht oder Produkte. Im Sinne des § 5 UWG muss überprüft werden, ob der Artikel irreführend ist. Es gibt Belege, dass künstliche Intelligenz halluziniert, also falsche „Fakten“ darstellt.

Hinsichtlich der Optimierung von Suchmaschinen (SEO) ist eine Änderung zu erwarten: Die Suche über Texteingabe dürfte teilweise abgelöst werden und durch eine Suche der Nutzer über Sprach-Interfaces mit Large Language Modellen ersetzt werden. Nutzer werden sich etwa daran gewöhnen, GPT zu fragen, statt in Google Search einzutippen. Google hat dies erkannt und arbeitet an eigenen Softwares wie Gemini – stets mit dem Ziel den Nutzer nicht an KI der Konkurrenz zu verlieren.

Coding mit dem Pen

„Einer ist immer der Dev“ heißt es – und man weiß nicht sofort wer. Das zeigt sich auch bei der Arbeit mit Codepen (externer Link hier), der Community-Spielwiese für Entwickler und solche, die es werden wollen. Auf Codepen kann u.a. nach HTML/CSS/PHP/JS-Lösungen gesucht werden und das Gefundene in lauffähiger Umgebung ausprobiert und verändert, siehe den leeren Testbereich hier.

Wer die Rechte am in den einzelnen „Unterseiten“ bereitgehaltenen Code hält, ist nicht einfach zu erkennen. Kürzlich erreichte Rechtsanwalt Fink die Frage nach der Behandlung von Programmen auf Codepen durch den Entwickler. Ein Teil der Antwort ist in den Vertragswerken zu finden:

Codepen erlaubt die Darstellung von Software (oder Teilen) in einem geschützten Nutzerbereich (Private Pen) oder in öffentlich zugänglichen Modulen, sogenannten Public Pens.

Private Pens können die Verwendung der dargestellten Programme in eigenen Lizenzbedingungswerken wesentlich einschränken. Also ist es ratsam einzelfallspezifisch zu klären, was der Einstellende zur Bedingung macht.

Öffentliche Pens werden gut über Suchmaschinen gefunden und können als Software-Lösungen kopiert und in eigene Projekte integriert werden. Solche Inhalte in öffentlichen Pens stehen gemäß den Codepen-Bedingungen bei Einstellung unter der MIT Lizenz, also einer Open Source-Lizenz. Das ist positiv, da diese Lizenz im Wesentlichen die Pflicht zur Einbindung des Urhebervermerks bedeutet:

The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software.

Textauszug der MIT License

Sollte aber derjenige, der die Software bei Codepen eingestellt hat, nicht die Rechte zu Lizenzierung nach MIT haben, wird es unter Umständen für den implementierenden Entwickler problematisch. Dem tatsächlichen Software-Entwickler stehen die üblichen Rechte zu, die ihm z.B. das deutsche Urhebergesetz in § 2 UrhG gibt. Die (MIT-)Lizenzbedingungen entfalten als Einschränkung durch den Unberechtigten keine Wirkung gegen den Rechteinhaber.