Eludir la censura china de Internet: cómo construí un agregador de microblog censurado

Como se sabe en todo el mundo, el gobierno chino impone una estricta censura en Internet. El sistema de censura chino, comúnmente conocido como el Gran Cortafuegos de China, es operado por el Ministerio de Seguridad Pública y se denomina oficialmente Proyecto Escudo Dorado. El sistema ha estado en funcionamiento desde 2003.

Los sitios de noticias internacionales que generalmente contienen contenido políticamente sensible, como el New York Times, o los sitios de redes sociales que no cumplen con las reglas de censura, como Facebook y Twitter, generalmente están bloqueados y no están disponibles para los usuarios chinos. Esto se logra usando una variedad de métodos sofisticados.

Para los sitios de noticias y redes sociales chinos, prácticamente todo está bajo la vigilancia del gobierno. Para poder operar, los ISP y los proveedores de contenido de Internet en China suelen tener su propio mecanismo de filtrado de contenido para bloquear o eliminar el contenido publicado por sus usuarios, o incluso eliminar la cuenta de los usuarios directamente si se supone que son ilegales según el gobierno. política. Estas empresas tienen su propio software de censura en sus servidores, así como equipos o departamentos especiales para manejar manualmente las tareas de censura que el software de censura automatizado no puede administrar. Estos equipos cooperan con las divisiones locales del Ministerio de Seguridad Pública, reciben nuevas órdenes y políticas y, por lo general, trabajan en conjunto.

Para nuestros desarrolladores web nacionales, la censura de Internet en China no solo filtra nuestra libertad de expresión, sino también valiosos recursos profesionales de todo el mundo. En mi trabajo diario, tengo que eludir la censura de Internet para conectarme a través de VPN para usar Gmail, Dropbox y muchos otros sitios cruciales. Todavía recuerdo lo incómodo que fue en 2010, cuando los servicios de Google se volvieron inestables o inaccesibles en China después de que Google se negara a seguir cumpliendo con las reglas de censura. Esto sería increíble para los desarrolladores de otros países.

Censura en Sina Weibo

Sina Weibo es el sitio de red social de microblogging más grande de China. Dado que Twitter no cumple con las reglas de China, Weibo no tiene que competir con él por los usuarios. Las noticias se difunden más rápida y directamente en Weibo que en cualquier otro medio de comunicación en China. A los miembros de las generaciones más jóvenes, como yo, les gusta usarlo para compartir noticias y discutir eventos públicos. Pero, por supuesto, bajo la censura china en Internet, muchas publicaciones calientes o interesantes se eliminan inmediatamente después de su publicación. Es más probable que se eliminen las publicaciones de eventos políticos y públicos, mientras que es menos probable que se eliminen las noticias de entretenimiento. Un estudio de 2013 realizado por los científicos informáticos Jed Crandall y Dan Wallach descubrió que alrededor del 12 % de los microblogs chinos se eliminan todos los días.

En días políticamente sensibles como el 4 de junio, se espera que se elimine una mayor cantidad de publicaciones de Microblog censuradas. En estos días, los usuarios por lo general ni siquiera pueden ingresar ciertas palabras sensibles cuando intentan escribir un microblog.

¿Cómo se ve cuando una publicación es censurada? Cuando actualice un nuevo microblog en el sitio, a menudo verá algo como esto:

Este es el equivalente a un retweet, donde el mensaje original generalmente aparece en el cuadro gris. El cuadro ahora dice “Lo siento. El microblog ha sido eliminado. Por favor vea…” La publicación original era una petición de justicia por parte de una madre, por el secuestro, violación y prostitución forzada de su hija de 11 años en 2013.

2013 es un año en el que se revelaron muchos escándalos políticos a través de la plataforma de microblog. La popularidad de Sina Weibo se disparó durante este tiempo. En respuesta, el gobierno se puso nervioso y comenzó a reforzar su censura en la plataforma de redes sociales.

Antes del microblog, los jóvenes como yo que estaban interesados ​​en la política generalmente tenían que usar servidores proxy o servicios de tunelización para buscar noticias confidenciales de sitios web internacionales. De repente, teníamos una plataforma de red social china relativamente abierta. Pero el gobierno intervino rápidamente, y resultó ser solo un relámpago. Esto realmente me enfureció. Hablé con amigos y todos estábamos enojados por el fortalecimiento de la censura en la plataforma. Mis amigos preguntaban: "¿Por qué no podemos hacer nada al respecto?" Decidí que lo intentaría. Así que creé un sitio web para comenzar a eludir la censura de Internet y ver qué se estaba bloqueando o eliminando exactamente de Sina Weibo.

Discusión técnica

Básicamente, necesitaba configurar un servidor que buscara constantemente microblogs chinos bloqueados o eliminados y los mostrara en un nuevo sitio web. Había planeado usar un servicio en la nube doméstico como Aliyun, pero resulta que hay muchas restricciones en la plataforma, como la redirección de dominio, y sus precios no son más baratos que otros servicios en la nube. Por supuesto, mi preocupación adicional era que el servidor mismo estaría bajo vigilancia si lo implementaba en el país. Así que terminé comprando un servidor en Linode y localicé el servidor en Japón. También compré el dominio freeweibo.me para comenzar a eludir la censura de Sina Weibo.

El siguiente gráfico muestra la arquitectura general del sistema: MongoDB, un servidor web y un rastreador. Elegí Node.js para el entorno de desarrollo, ya que es más eficiente y escalable para aplicaciones de red y, personalmente, tengo más experiencia con él. El servidor web se desarrolló utilizando el marco Express.js y utilizó la API de Weibo para capturar datos. Inicialmente, el rastreador se diseñó para ser un proceso independiente, pero luego descubrí que incluirlo como un módulo en el proceso del servidor web era suficiente para la etapa inicial.

El contenido de un microblog tiene dos partes principales de interés. Uno son los datos de texto y sus atributos relevantes. La otra son las imágenes afiliadas a la publicación. Para guardar una publicación, también queremos descargar las imágenes y guardarlas como archivos en el disco. Para blogs bloqueados o eliminados, estas imágenes son muy importantes. En China es muy común y popular usar imágenes para publicar contenido de texto, ya que este contenido es mucho más difícil de detectar con el filtrado y la censura automatizados basados ​​en texto en los servidores de las empresas de Internet.

La idea básica de detectar publicaciones bloqueadas o eliminadas es buscar constantemente nuevas publicaciones, de una lista conocida de usuarios, y luego volver a verificar la disponibilidad de las publicaciones en un momento posterior. Un microblog podría eliminarse o bloquearse en varios minutos o varios días. Por lo tanto, el rastreador consta de dos tareas principales: la tarea de obtención, para obtener contenido publicado recientemente, y la tarea de verificación, para verificar si el contenido publicado anteriormente ha sido censurado.

Al principio, configuré el rastreador para rastrear microblogs de los 100 usuarios más conocidos de Weibo. Pero resultó que casi no se detectaban blogs eliminados cada día. La razón es que la mayoría de los principales usuarios no tienen interés en temas políticos o públicamente delicados; nunca publican ni reenvían este tipo de microblogs. Por ejemplo, esta bloguera, que es una actriz con más de 10 millones de seguidores, es una de las usuarias más populares, pero nunca publica blogs sensibles.

Después de un poco de experimentación y reflexión, se me ocurrió una técnica para encontrar de manera adaptativa a los usuarios que constantemente son censurados. La red de medios sociales está interconectada por temas y los usuarios tienden a reunirse en grupos por interés. Si un usuario tiene interés en temas públicos o políticos, es más probable que publique o reenvíe los blogs de otros usuarios similares. Estas publicaciones reenviadas proporcionan una buena manera de identificar nuevos usuarios para escanear.

Por ejemplo, supongamos que el usuario A ya está en la base de datos y el rastreador detecta que se eliminó un blog, que el usuario A volvió a publicar. Si el usuario B, el autor original del blog, no está en la base de datos, entonces el rastreador salvará al usuario B. La próxima vez, cuando el rastreador vuelva a escanear nuevos blogs, también escaneará nuevos blogs del usuario B. Por lo tanto, la cantidad de los usuarios escaneables crecerán automáticamente aprovechando este tipo de conexión de interés social.

Después de ajustar el algoritmo del rastreador para aprovechar esta metodología, solo necesitaba seleccionar varios usuarios clave que tenían un gran interés en publicar blogs confidenciales y el rastreador descubrió automáticamente nuevos usuarios para escanear. El total diario de blogs censurados que se detectaron aumentó constantemente día a día. La siguiente es una instantánea de los blogs eliminados archivados en mi buzón.

• Un diálogo histórico de Mao Zedong reprendiendo a un funcionario local por no derribar la antigua muralla de la ciudad de Chengdu.
• Una publicación sobre Xu Zhiyong, quien es un abogado activo de derechos. Ha ayudado a muchas personas desfavorecidas y comenzó el Movimiento de Nuevos Ciudadanos en China. Fue sentenciado a prisión en enero de 2014.
• Críticas al diario del gobierno Diario del Pueblo
• Comente sobre el arresto y juicio de Wang Gongquan, un multimillonario en China y líder del Movimiento de Nuevos Ciudadanos.
• Una referencia a la detención de activistas que participan en movimientos sociales.

Resultados

Después de dos semanas de codificación y depuración de mi sistema de omisión de microblog chino, implementé el sitio en freeweibo.me . Sin embargo, después de varias semanas de ejecución, el servidor no detectó más blogs nuevos. Con un poco de investigación encontré dos problemas. Una fue que la plataforma Weibo había cambiado su interfaz API original. La otra era que las solicitudes de la API del rastreador excedían el límite de velocidad (1000 por minuto) debido al aumento de blogs y usuarios en la base de datos. Así que ajusté mi código para adoptar la nueva interfaz y también para disminuir el recuento de solicitudes de API por minuto. El rastreador se mantuvo estable a partir de entonces.

Enfrenté un dilema sobre si dejar que muchas personas conozcan el sitio o no. Sabía que cuantas más personas visitaran el sitio, más pronto sería detectado por el gobierno y bloqueado. Así que solo compartí el sitio con algunos de mis amigos. Inicialmente, solo había alrededor de 10 a 20 visitas por día. Pero un mes después, las visitas llegaron a 80 o más en algunos días y tenía decenas de suscriptores de correo electrónico.

Y luego, como esperaba, llegó la mañana en que descubrí que mi sitio estaba bloqueado en China. Había durado unos tres meses. Para llegar al sitio después de eso, los usuarios tenían que usar un servicio de tunelización VPN para visitar el sitio. Esto no es práctico para la mayoría de los usuarios de Internet chinos.

Sin embargo, ese mismo día me sentí aliviado y complacido al descubrir que otro sitio, freeweibo.com, proporciona exactamente el mismo servicio y es más sofisticado que el que construí. El proyecto freeweibo.com es muy ingenioso. Está activo en las redes sociales y proporciona diferentes medios para acceder al contenido, como fuentes RSS, suscripción por correo electrónico y sitios espejo para usuarios domésticos. ¡Incluso tiene una aplicación móvil! No sé quién creó el sitio, pero me alegra que compartamos la misma visión.

Conclusión

Según las circunstancias, era obvio que mi sitio ya no era muy útil y lo cerré varios meses después.

A pesar del resultado, no siento que el proyecto haya sido en vano. Al contrario, fue una experiencia maravillosa, aunque solo sobrevivió unos meses. Me ayudó a apreciar profundamente la realidad de mi país.

En China, para administrar un negocio en Internet, debe tener mucho cuidado con la censura, o tarde o temprano tendrá problemas. Apenas hay forma de que los sitios de redes sociales tengan éxito si no cumplen con la estricta censura y comprometen la privacidad de los usuarios.

Actualizar

El código fuente de freeweibo.me ahora está disponible en GitHub aquí. Como se indicó anteriormente, este código fuente no está relacionado con el sitio web similar freeweibo.com .