Umgehung der chinesischen Internetzensur: Wie ich einen zensierten Microblog-Aggregator erstellt habe

Wie weltweit bekannt ist, setzt die chinesische Regierung eine strenge Zensur im Internet durch. Das chinesische Zensursystem, allgemein bekannt als Great Firewall of China, wird vom Ministerium für öffentliche Sicherheit betrieben und trägt offiziell den Namen Golden Shield Project. Das System ist seit 2003 in Betrieb.

Internationale Nachrichtenseiten, die normalerweise politisch sensible Inhalte enthalten, wie die New York Times, oder Social-Media-Seiten, die sich nicht an die Zensurregeln halten, wie Facebook und Twitter, sind normalerweise gesperrt und für chinesische Benutzer nicht verfügbar. Dies wird mit einer Vielzahl ausgeklügelter Methoden erreicht.

Bei chinesischen Nachrichten- und Social-Media-Sites wird praktisch alles von der Regierung überwacht. Um operieren zu dürfen, verfügen ISPs und Anbieter von Internetinhalten in China in der Regel über einen eigenen Inhaltsfiltermechanismus zum Blockieren oder Entfernen der veröffentlichten Inhalte durch ihre Benutzer oder sogar zum direkten Löschen des Benutzerkontos, wenn angenommen wird, dass sie von der Regierung illegal sind Politik. Diese Unternehmen haben ihre eigene Zensursoftware auf ihren Servern sowie spezielle Teams oder Abteilungen, um die Zensuraufgaben manuell zu erledigen, die automatische Zensursoftware nicht bewältigen kann. Diese Teams arbeiten mit den lokalen Abteilungen des Ministeriums für öffentliche Sicherheit zusammen, erhalten neue Befehle und Richtlinien und arbeiten normalerweise zusammen.

Für unsere einheimischen Webentwickler filtert die Zensur des chinesischen Internets nicht nur unsere Meinungsfreiheit heraus, sondern auch wertvolle professionelle Ressourcen aus der ganzen Welt. Bei meiner täglichen Arbeit muss ich die Internetzensur umgehen, um mich über VPN zu verbinden, um Gmail, Dropbox und viele andere wichtige Websites zu nutzen. Ich erinnere mich noch, wie peinlich es 2010 war, als Googles Dienste in China instabil oder unzugänglich wurden, nachdem Google sich geweigert hatte, sich weiterhin an die Zensurregeln zu halten. Für Entwickler in anderen Ländern wäre das unglaublich.

Zensur auf Sina Weibo

Sina Weibo ist das größte soziale Mikroblogging-Netzwerk in China. Da sich Twitter nicht an Chinas Regeln hält, muss Weibo nicht mit ihm um die Nutzer konkurrieren. Nachrichten verbreiten sich auf Weibo schneller und direkter als auf jedem anderen Medium in China. Mitglieder der jüngeren Generation, wie ich selbst, nutzen es gerne, um Neuigkeiten auszutauschen und öffentliche Veranstaltungen zu diskutieren. Aber natürlich werden unter der chinesischen Internetzensur viele heiße oder interessante Posts sofort gelöscht, nachdem sie gepostet wurden. Beiträge zu politischen und öffentlichen Ereignissen werden am wahrscheinlichsten gelöscht, während Unterhaltungsnachrichten am seltensten gelöscht werden. Eine Studie der Informatiker Jed Crandall und Dan Wallach aus dem Jahr 2013 ergab, dass täglich etwa 12 % der chinesischen Mikroblogs gelöscht werden.

An politisch heiklen Tagen wie dem 4. Juni wird voraussichtlich eine höhere Anzahl zensierter Microblog-Posts gelöscht. An diesen Tagen können Benutzer normalerweise nicht einmal bestimmte sensible Wörter eingeben, wenn sie versuchen, einen Mikroblog zu schreiben.

Wie sieht es aus, wenn ein Beitrag zensiert wird? Wenn Sie einen neuen Mikroblog auf der Website aktualisieren, sehen Sie häufig Folgendes:

Dies entspricht einem Retweet, bei dem die ursprüngliche Nachricht normalerweise im grauen Feld angezeigt wird. In der Box steht jetzt „Entschuldigung. Der Mikroblog wurde gelöscht. Bitte sehen Sie …“ Der ursprüngliche Post war ein Plädoyer für Gerechtigkeit einer Mutter für die Entführung, Vergewaltigung und Zwangsprostitution ihrer 11-jährigen Tochter im Jahr 2013.

2013 ist ein Jahr, in dem viele politische Skandale über die Microblog-Plattform aufgedeckt wurden. Die Popularität von Sina Weibo stieg in dieser Zeit sprunghaft an. Als Reaktion darauf wurde die Regierung nervös und begann, ihre Zensur auf der Social-Media-Plattform zu verstärken.

Vor dem Microblog mussten junge Leute wie ich, die sich für Politik interessierten, normalerweise Proxy-Server oder Tunneling-Dienste verwenden, um sensible Nachrichten von internationalen Websites zu jagen. Plötzlich hatten wir eine relativ offene chinesische Plattform für soziale Netzwerke. Aber die Regierung griff schnell ein, und es stellte sich heraus, dass es nur ein Strohfeuer war. Das hat mich wirklich wütend gemacht. Ich habe mit Freunden gesprochen, und wir haben uns alle über die Verschärfung der Zensur auf der Plattform geärgert. Meine Freunde würden fragen: „Warum können wir nichts dagegen tun?“ Ich beschloss, es zu versuchen. Also habe ich eine Website erstellt, um die Internetzensur zu umgehen und zu sehen, was genau von Sina Weibo blockiert oder gelöscht wurde.

Technische Diskussion

Im Grunde musste ich einen Server einrichten, der ständig nach blockierten oder gelöschten chinesischen Mikroblogs scannt und sie auf einer neuen Website anzeigt. Ich hatte geplant, einen inländischen Cloud-Dienst wie Aliyun zu verwenden, aber es stellt sich heraus, dass es viele Einschränkungen auf der Plattform gibt, wie z. B. Domain-Umleitung, und ihre Preise sind nicht billiger als andere Cloud-Dienste. Meine zusätzliche Sorge war natürlich, dass der Server selbst überwacht würde, wenn ich ihn im Inland einsetzen würde. Also kaufte ich schließlich einen Server auf Linode und lokalisierte den Server in Japan. Ich habe auch die Domain freeweibo.me gekauft, um die Zensur von Sina Weibo zu umgehen.

Die folgende Grafik zeigt die Gesamtarchitektur des Systems: MongoDB, ein Webserver und ein Crawler. Als Entwicklungsumgebung habe ich mich für Node.js entschieden, da es für Netzwerkanwendungen effizienter und skalierbarer ist und ich persönlich mehr Erfahrung damit habe. Der Webserver wurde mit dem Express.js-Framework entwickelt und verwendete die Weibo-API zum Erfassen von Daten. Ursprünglich war der Crawler als separater Prozess konzipiert, aber später stellte ich fest, dass es für die Anfangsphase ausreichte, ihn als Modul im Webserver-Prozess zu bündeln.

Der Inhalt eines Mikroblogs hat zwei Hauptteile von Interesse. Einer sind die Textdaten und ihre relevanten Attribute. Das andere sind die Bilder, die mit dem Beitrag verbunden sind. Um einen Beitrag zu speichern, möchten wir auch die Bilder herunterladen und als Dateien auf der Festplatte speichern. Für gesperrte oder gelöschte Blogs sind diese Bilder sehr wichtig. In China ist es sehr verbreitet und beliebt, Bilder zum Posten von Textinhalten zu verwenden, da diese Inhalte mit automatisierter textbasierter Filterung und Zensur auf den Servern von Internetunternehmen viel schwieriger zu erfassen sind.

Die Grundidee beim Erkennen blockierter oder gelöschter Posts besteht darin, ständig nach neuen Posts aus einer bekannten Liste von Benutzern zu suchen und dann die Verfügbarkeit der Posts zu einem späteren Zeitpunkt erneut zu überprüfen. Ein Mikroblog kann innerhalb weniger Minuten oder mehrerer Tage gelöscht oder blockiert werden. Der Crawler besteht also aus zwei Hauptaufgaben: der Abrufaufgabe, um neu gepostete Inhalte abzurufen, und der Prüfaufgabe, um zu prüfen, ob zuvor gepostete Inhalte zensiert wurden.

Zuerst habe ich den Crawler so konfiguriert, dass er Mikroblogs von den 100 besten bekannten Benutzern auf Weibo crawlt. Aber es stellte sich heraus, dass jeden Tag fast keine gelöschten Blogs entdeckt wurden. Der Grund dafür ist, dass die meisten der Top-Benutzer kein Interesse an politischen oder öffentlich sensiblen Themen haben – sie posten oder leiten diese Art von Mikroblogs nie weiter. Zum Beispiel ist diese Bloggerin, die eine Schauspielerin mit mehr als 10 Millionen Followern ist, eine der beliebtesten Benutzerinnen, aber sie postet nie sensible Blogs.

Nach einigem Experimentieren und Nachdenken kam ich auf eine Technik, um Benutzer zu finden, die ständig zensiert werden. Das Social-Media-Netzwerk ist themenvernetzt und die Nutzer schließen sich eher nach Interesse in Gruppen zusammen. Wenn ein Benutzer ein Interesse an öffentlichen oder politischen Themen hat, dann ist es wahrscheinlicher, dass er Blogs anderer ähnlicher Benutzer postet oder weiterleitet. Diese weitergeleiteten Posts bieten eine gute Möglichkeit, neue Benutzer zum Scannen zu identifizieren.

Angenommen, Benutzer A befindet sich bereits in der Datenbank, und der Crawler erkennt, dass ein Blog, der von Benutzer A erneut gepostet wurde, gelöscht wurde. Wenn Benutzer B, der ursprüngliche Autor des Blogs, nicht in der Datenbank vorhanden ist, speichert der Crawler Benutzer B. Wenn der Crawler das nächste Mal neue Blogs erneut scannt, scannt er auch neue Blogs von Benutzer B. Daher die Menge von Scannable-Benutzer werden automatisch wachsen, indem sie diese Art von sozialer Interessenverbindung nutzen.

Nachdem ich den Crawler-Algorithmus so angepasst hatte, dass er diese Methodik nutzen konnte, musste ich nur einige wichtige Benutzer mit einem starken Interesse an der Veröffentlichung sensibler Blogs ausstatten, und der Crawler entdeckte automatisch neue Benutzer zum Scannen. Die tägliche Gesamtzahl der entdeckten zensierten Blogs stieg von Tag zu Tag stetig an. Das Folgende ist eine Momentaufnahme archivierter gelöschter Blogs in meinem Postfach.

• Ein historischer Dialog von Mao Zedong, der einen örtlichen Beamten dafür tadelt, dass er die alte Stadtmauer von Chengdu nicht niedergerissen hat.
• Ein Beitrag über Xu Zhiyong, einen aktiven Rechtsanwalt. Er hat vielen unterprivilegierten Menschen geholfen und die New Citizen's Movement in China ins Leben gerufen. Er wurde im Januar 2014 zu einer Gefängnisstrafe verurteilt.
• Kritik an der Regierungszeitung People's Daily
• Kommentieren Sie die Verhaftung und den Prozess gegen Wang Gongquan, einen Milliardär in China und Anführer der New Citizen's Movement.
• Ein Hinweis auf die Verhaftung von Aktivisten, die sich an sozialen Bewegungen beteiligen.

Ergebnisse

Nach zwei Wochen Codieren und Debuggen meines chinesischen Microblog-Bypassing-Systems stellte ich die Seite auf freeweibo.me bereit . Nach mehreren Wochen Laufzeit hat der Server jedoch keine neuen Blogs mehr erkannt. Bei einigen Nachforschungen fand ich zwei Probleme. Einer war, dass die Weibo-Plattform ihre ursprüngliche API-Schnittstelle geändert hatte. Das andere war, dass die API-Anfragen des Crawlers das Ratenlimit (1000 pro Minute) aufgrund der Zunahme von Blogs und Benutzern in der Datenbank überschritten. Also habe ich meinen Code so angepasst, dass er die neue Schnittstelle übernimmt und auch die Anzahl der API-Anforderungen pro Minute verringert. Der Crawler war von da an stabil.

Ich stand vor einem Dilemma, ob ich viele Leute über die Seite informieren sollte oder nicht. Ich wusste, je mehr Leute die Seite besuchten, desto eher würde sie von der Regierung ausspioniert und gesperrt werden. Also habe ich die Seite nur mit einigen meiner Freunde geteilt. Anfangs gab es nur etwa 10 bis 20 Besuche pro Tag. Aber einen Monat später erreichten die Besuche an manchen Tagen 80 oder mehr, und ich hatte Dutzende von E-Mail-Abonnenten.

Und dann, wie ich erwartet hatte, kam der Morgen, an dem ich feststellte, dass meine Seite in China gesperrt war. Es hatte ungefähr drei Monate gedauert. Um die Site danach zu erreichen, mussten Benutzer einen VPN-Tunneling-Dienst verwenden, um die Site zu besuchen. Dies ist für die meisten chinesischen Internetnutzer unpraktisch.

Am selben Tag stellte ich jedoch erleichtert und erfreut fest, dass eine andere Website, freeweibo.com, genau denselben Service bietet und ausgeklügelter ist als die, die ich erstellt habe. Das Projekt freeweibo.com ist sehr einfallsreich. Es ist in sozialen Medien aktiv und bietet verschiedene Möglichkeiten für den Zugriff auf die Inhalte, wie RSS-Feeds, E-Mail-Abonnements und Spiegelseiten für Privatanwender. Es hat sogar eine mobile App! Ich weiß nicht, wer die Seite erstellt hat, aber ich bin froh, dass wir dieselbe Vision teilen.

Fazit

Aufgrund der Umstände war es offensichtlich, dass meine Seite nicht mehr sehr nützlich war, und ich habe sie einige Monate später geschlossen.

Trotz des Ergebnisses habe ich nicht das Gefühl, dass das Projekt umsonst war. Im Gegenteil, es war ein wunderbares Erlebnis, auch wenn es nur wenige Monate überlebte. Es hat mir geholfen, die Realität in meinem Land tief zu würdigen.

In China muss man, um ein Internetgeschäft zu betreiben, sehr vorsichtig mit der Zensur sein, sonst gerät man früher oder später in Schwierigkeiten. Social-Media-Seiten können kaum erfolgreich sein, wenn sie sich nicht an die strenge Zensur halten und die Privatsphäre der Nutzer kompromittieren.

Aktualisieren

Der Quellcode von freeweibo.me ist jetzt hier auf GitHub verfügbar. Wie oben erwähnt, steht dieser Quellcode in keinem Zusammenhang mit der ähnlichen Website freeweibo.com .