เลี่ยงการเซ็นเซอร์อินเทอร์เน็ตของจีน: ฉันสร้าง Microblog Aggregator ที่ถูกเซ็นเซอร์ได้อย่างไร

ดังที่ทราบกันทั่วโลก รัฐบาลจีนบังคับใช้การเซ็นเซอร์อย่างเข้มงวดบนอินเทอร์เน็ต ระบบเซ็นเซอร์ของจีน หรือที่รู้จักกันทั่วไปในชื่อ Great Firewall of China ดำเนินการโดยกระทรวงความมั่นคงสาธารณะ และได้รับการตั้งชื่ออย่างเป็นทางการว่าโครงการ Golden Shield ระบบเปิดดำเนินการมาตั้งแต่ปี 2546

ไซต์ข่าวต่างประเทศที่มักจะมีเนื้อหาที่ละเอียดอ่อนทางการเมือง เช่น New York Times หรือไซต์โซเชียลมีเดียที่ไม่ปฏิบัติตามกฎการเซ็นเซอร์ เช่น Facebook และ Twitter มักจะถูกบล็อกและไม่พร้อมใช้งานสำหรับผู้ใช้ชาวจีน ทำได้โดยใช้วิธีการที่ซับซ้อนหลากหลาย

สำหรับเว็บไซต์ข่าวและโซเชียลมีเดียของจีน แทบทุกอย่างอยู่ภายใต้การดูแลของรัฐบาล เพื่อให้สามารถใช้งานได้ ISP และผู้ให้บริการเนื้อหาทางอินเทอร์เน็ตในประเทศจีนมักจะมีกลไกการกรองเนื้อหาของตนเองสำหรับการบล็อกหรือลบเนื้อหาที่เผยแพร่โดยผู้ใช้ หรือแม้แต่การลบบัญชีผู้ใช้โดยตรงหากถือว่าผิดกฎหมายภายใต้รัฐบาล นโยบาย. บริษัทเหล่านี้มีซอฟต์แวร์การเซ็นเซอร์ของตนเองบนเซิร์ฟเวอร์ ตลอดจนทีมหรือแผนกพิเศษเพื่อจัดการงานการเซ็นเซอร์ด้วยตนเองซึ่งซอฟต์แวร์การเซ็นเซอร์อัตโนมัติไม่สามารถจัดการได้ ทีมเหล่านี้ร่วมมือกับหน่วยงานท้องถิ่นของกระทรวงความมั่นคงสาธารณะ รับคำสั่งและนโยบายใหม่ และมักจะทำงานร่วมกัน

สำหรับนักพัฒนาเว็บในประเทศของเรา การเซ็นเซอร์อินเทอร์เน็ตของจีนไม่เพียงแต่กรองเสรีภาพในการพูดของเราออกไป แต่ยังรวมถึงแหล่งข้อมูลทางวิชาชีพอันทรงคุณค่าจากทั่วโลกอีกด้วย ในการทำงานประจำวันของฉัน ฉันต้องเลี่ยงการเซ็นเซอร์อินเทอร์เน็ตเพื่อเชื่อมต่อผ่าน VPN เพื่อใช้ Gmail, Dropbox และไซต์สำคัญอื่นๆ อีกมากมาย ฉันยังจำได้ว่ามันน่าอึดอัดแค่ไหนในปี 2010 เมื่อบริการของ Google ไม่เสถียรหรือไม่สามารถเข้าถึงได้ในประเทศจีน หลังจากที่ Google ปฏิเสธที่จะปฏิบัติตามกฎการเซ็นเซอร์ต่อไป สิ่งนี้จะไม่น่าเชื่อสำหรับนักพัฒนาในประเทศอื่น ๆ

เซ็นเซอร์ Sina Weibo

Sina Weibo เป็นไซต์เครือข่ายโซเชียลไมโครบล็อกที่ใหญ่ที่สุดในประเทศจีน เนื่องจาก Twitter ไม่ปฏิบัติตามกฎของจีน Weibo จึงไม่ต้องแข่งขันกับผู้ใช้ ข่าวแพร่กระจายอย่างรวดเร็วและตรงบน Weibo มากกว่าสื่ออื่นๆ ในประเทศจีน สมาชิกรุ่นน้องอย่างผมเองก็ชอบเอามาแบ่งปันข่าวสารและพูดคุยถึงงานสาธารณะต่างๆ แต่แน่นอนว่า ภายใต้การเซ็นเซอร์อินเทอร์เน็ตของจีน โพสต์ที่ร้อนแรงหรือน่าสนใจจำนวนมากจะถูกลบออกทันทีหลังจากโพสต์ โพสต์เกี่ยวกับการเมืองและงานสาธารณะส่วนใหญ่มักจะถูกลบ ขณะที่ข่าวบันเทิงมีแนวโน้มที่จะถูกลบน้อยที่สุด การศึกษาในปี 2013 โดยนักวิทยาศาสตร์คอมพิวเตอร์ Jed Crandall และ Dan Wallach พบว่าไมโครบล็อกของจีนประมาณ 12% ถูกลบทุกวัน

ในวันที่อ่อนไหวทางการเมืองเช่นวันที่ 4 มิถุนายน จะมีการลบโพสต์ไมโครบล็อกที่ถูกเซ็นเซอร์จำนวนมากขึ้น ในปัจจุบัน ผู้ใช้มักจะไม่สามารถป้อนคำที่ละเอียดอ่อนบางคำได้เมื่อพยายามเขียนไมโครบล็อก

จะเป็นอย่างไรเมื่อโพสต์ถูกเซ็นเซอร์ เมื่อคุณรีเฟรชไมโครบล็อกใหม่บนไซต์ คุณมักจะเห็นสิ่งนี้:

ซึ่งเทียบเท่ากับการรีทวีต โดยปกติข้อความต้นฉบับจะปรากฏในกล่องสีเทา ตอนนี้กล่องเขียนว่า “ขออภัย ไมโครบล็อกถูกลบไปแล้ว โปรดดู…” โพสต์ดั้งเดิมเป็นข้ออ้างเพื่อความยุติธรรมจากแม่ ฐานลักพาตัว ข่มขืน และบังคับค้าประเวณีลูกสาววัย 11 ขวบของเธอในปี 2556

2013 เป็นปีที่มีการเปิดเผยเรื่องอื้อฉาวทางการเมืองมากมายผ่านแพลตฟอร์มไมโครบล็อก ความนิยมของ Sina Weibo เพิ่มขึ้นในช่วงเวลานี้ รัฐบาลจึงรู้สึกประหม่าและเริ่มเสริมสร้างการเซ็นเซอร์บนแพลตฟอร์มโซเชียลมีเดีย

ก่อนไมโครบล็อก คนรุ่นใหม่อย่างฉันที่สนใจเรื่องการเมืองมักต้องใช้พร็อกซีเซิร์ฟเวอร์หรือบริการอุโมงค์ข้อมูลเพื่อตามล่าข่าวที่ละเอียดอ่อนจากเว็บไซต์ต่างประเทศ ทันใดนั้น เรามีแพลตฟอร์มโซเชียลเน็ตเวิร์กของจีนที่ค่อนข้างเปิดกว้าง แต่รัฐบาลเข้ามาอย่างรวดเร็ว และกลายเป็นเพียงแสงวาบในกระทะ สิ่งนี้ทำให้ฉันโกรธมาก ฉันได้พูดคุยกับเพื่อนๆ และพวกเราต่างก็โกรธที่การเซ็นเซอร์บนแพลตฟอร์มแข็งแกร่งขึ้น เพื่อนของฉันจะถามว่า “ทำไมเราทำอะไรเกี่ยวกับเรื่องนี้ไม่ได้” ฉันตัดสินใจว่าฉันจะลอง ดังนั้นฉันจึงสร้างเว็บไซต์เพื่อเริ่มเลี่ยงการเซ็นเซอร์อินเทอร์เน็ตเพื่อดูว่าสิ่งใดถูกบล็อกหรือลบออกจาก Sina Weibo

อภิปรายทางเทคนิค

โดยพื้นฐานแล้ว ฉันต้องตั้งค่าเซิร์ฟเวอร์ที่สแกนหาไมโครบล็อกภาษาจีนที่ถูกบล็อกหรือถูกลบอย่างต่อเนื่อง และแสดงบนเว็บไซต์ใหม่ ฉันวางแผนที่จะใช้บริการคลาวด์ในประเทศเช่น Aliyun แต่ปรากฎว่ามีข้อจำกัดมากมายบนแพลตฟอร์ม เช่น การเปลี่ยนเส้นทางโดเมน และราคาของพวกเขาก็ไม่ได้ถูกกว่าบริการคลาวด์อื่นๆ แน่นอน ความกังวลเพิ่มเติมของฉันคือตัวเซิร์ฟเวอร์เองจะอยู่ภายใต้การดูแลหากฉันปรับใช้ในประเทศ ดังนั้นฉันจึงลงเอยด้วยการซื้อเซิร์ฟเวอร์บน Linode และตั้งเซิร์ฟเวอร์ในญี่ปุ่น ฉันยังซื้อโดเมน freeweibo.me เพื่อเริ่มเลี่ยงการเซ็นเซอร์ของ Sina Weibo

กราฟต่อไปนี้แสดงสถาปัตยกรรมโดยรวมของระบบ MongoDB เว็บเซิร์ฟเวอร์ และโปรแกรมรวบรวมข้อมูล ฉันเลือก Node.js สำหรับสภาพแวดล้อมการพัฒนา เนื่องจากมีประสิทธิภาพและปรับขนาดได้มากกว่าสำหรับแอปพลิเคชันเครือข่าย และโดยส่วนตัวแล้ว ฉันมีประสบการณ์กับมันมากขึ้น เว็บเซิร์ฟเวอร์ได้รับการพัฒนาโดยใช้เฟรมเวิร์ก Express.js และใช้ Weibo API เพื่อเก็บข้อมูล ในขั้นต้น โปรแกรมรวบรวมข้อมูลได้รับการออกแบบให้เป็นกระบวนการที่แยกจากกัน แต่ต่อมาฉันพบว่าการรวมเป็นโมดูลในกระบวนการของเว็บเซิร์ฟเวอร์นั้นเพียงพอสำหรับระยะเริ่มต้น

เนื้อหาของไมโครบล็อกมีส่วนสำคัญที่น่าสนใจสองส่วน หนึ่งคือข้อมูลข้อความและคุณลักษณะที่เกี่ยวข้อง อีกอันเป็นภาพที่เกี่ยวข้องกับโพสต์ เพื่อบันทึกโพสต์ เรายังต้องการดาวน์โหลดรูปภาพและบันทึกเป็นไฟล์บนดิสก์ สำหรับบล็อกที่ถูกบล็อกหรือถูกลบ รูปภาพเหล่านี้มีความสำคัญมาก ในประเทศจีนเป็นเรื่องปกติและเป็นที่นิยมอย่างมากในการใช้รูปภาพเพื่อโพสต์เนื้อหาที่เป็นข้อความ เนื่องจากเนื้อหานี้จับได้ยากกว่ามากด้วยการกรองข้อความอัตโนมัติและการเซ็นเซอร์บนเซิร์ฟเวอร์ของบริษัทอินเทอร์เน็ต

แนวคิดพื้นฐานของการตรวจจับโพสต์ที่ถูกบล็อกหรือถูกลบคือการสแกนหาโพสต์ใหม่อย่างต่อเนื่อง จากรายชื่อผู้ใช้ที่รู้จัก แล้วตรวจสอบความพร้อมใช้งานของโพสต์อีกครั้งในภายหลัง ไมโครบล็อกสามารถลบหรือบล็อกได้ภายในไม่กี่นาทีหรือหลายวัน ดังนั้น โปรแกรมรวบรวมข้อมูลประกอบด้วยงานหลักสองงาน: งานดึงข้อมูล การดึงเนื้อหาที่โพสต์ใหม่ และงานตรวจสอบ เพื่อตรวจสอบว่าเนื้อหาที่โพสต์ก่อนหน้านี้ถูกเซ็นเซอร์หรือไม่

ตอนแรก ฉันกำหนดค่าโปรแกรมรวบรวมข้อมูลให้รวบรวมข้อมูลไมโครบล็อกจากผู้ใช้ที่มีชื่อเสียง 100 อันดับแรกบน Weibo แต่กลับกลายเป็นว่าแทบไม่มีการตรวจพบบล็อกที่ถูกลบในแต่ละวัน เหตุผลก็คือผู้ใช้อันดับต้นๆ ส่วนใหญ่ไม่มีความสนใจในหัวข้อทางการเมืองหรือหัวข้อที่ละเอียดอ่อนต่อสาธารณะ พวกเขาไม่เคยโพสต์หรือส่งต่อไมโครบล็อกประเภทนี้ ตัวอย่างเช่น บล็อกเกอร์รายนี้ซึ่งเป็นนักแสดงที่มีผู้ติดตามมากกว่า 10 ล้านคน เป็นหนึ่งในผู้ใช้ที่ได้รับความนิยมมากที่สุด แต่เธอไม่เคยโพสต์บล็อกที่มีความละเอียดอ่อน

หลังจากทดลองและคิด ฉันก็คิดเทคนิคในการค้นหาผู้ใช้ที่ถูกเซ็นเซอร์อย่างสม่ำเสมอ เครือข่ายโซเชียลมีเดียมีความเกี่ยวข้องกันและผู้ใช้มักจะรวมตัวกันเป็นกลุ่มตามความสนใจ หากผู้ใช้มีความสนใจในหัวข้อสาธารณะหรือหัวข้อทางการเมือง เขาก็มักจะโพสต์หรือส่งต่อบล็อกของผู้ใช้รายอื่นที่คล้ายคลึงกัน โพสต์ที่ส่งต่อเหล่านี้เป็นวิธีที่ดีในการระบุผู้ใช้ใหม่ในการสแกน

ตัวอย่างเช่น สมมติว่าผู้ใช้ A อยู่ในฐานข้อมูลแล้ว และโปรแกรมรวบรวมข้อมูลตรวจพบว่าบล็อกหนึ่งซึ่งถูกโพสต์ใหม่โดยผู้ใช้ A ถูกลบ หากผู้ใช้ B ซึ่งเป็นผู้เขียนบล็อกเดิมไม่อยู่ในฐานข้อมูล โปรแกรมรวบรวมข้อมูลจะบันทึกผู้ใช้ B ในครั้งต่อไป เมื่อโปรแกรมรวบรวมข้อมูลสแกนบล็อกใหม่อีกครั้ง โปรแกรมจะสแกนบล็อกใหม่จากผู้ใช้ B ด้วย ดังนั้น ปริมาณของ ผู้ใช้ที่สแกนได้จะเติบโตโดยอัตโนมัติโดยใช้การเชื่อมต่อความสนใจทางสังคมประเภทนี้

หลังจากปรับอัลกอริทึมของโปรแกรมรวบรวมข้อมูลเพื่อใช้ประโยชน์จากวิธีการนี้แล้ว ฉันเพียงต้องการสร้างผู้ใช้หลักหลายคนที่มีความสนใจอย่างมากในการโพสต์บล็อกที่ละเอียดอ่อน และโปรแกรมรวบรวมข้อมูลก็ค้นพบผู้ใช้ใหม่ที่จะสแกนโดยอัตโนมัติ บล็อกที่ถูกเซ็นเซอร์ทั้งหมดในแต่ละวันที่ตรวจพบเพิ่มขึ้นเรื่อยๆ ทุกวัน ต่อไปนี้เป็นภาพรวมของบล็อกที่ถูกลบที่เก็บถาวรในกล่องจดหมายของฉัน

• บทสนทนาประวัติศาสตร์โดยเหมา เจ๋อตง ตำหนิเจ้าหน้าที่ท้องถิ่นที่ไม่ทำลายกำแพงเมืองโบราณของเฉิงตู
• โพสต์เกี่ยวกับ Xu Zhiyong ซึ่งเป็นทนายความด้านสิทธิ เขาได้ช่วยเหลือผู้ยากไร้จำนวนมากและเริ่มขบวนการพลเมืองใหม่ในประเทศจีน เขาถูกตัดสินให้ติดคุกในเดือนมกราคม 2014
• วิจารณ์หนังสือพิมพ์รัฐบาล People's Daily
• ความคิดเห็นเกี่ยวกับการจับกุมและพิจารณาคดีของ Wang Gongquan มหาเศรษฐีในประเทศจีนและผู้นำขบวนการพลเมืองใหม่
• การอ้างอิงถึงการจับกุมนักเคลื่อนไหวที่มีส่วนร่วมในการเคลื่อนไหวทางสังคม

ผล

หลังจากสองสัปดาห์ในการเขียนโค้ดและดีบักระบบเลี่ยงผ่านไมโครบล็อกภาษาจีนของฉัน ฉันได้ปรับใช้ไซต์นี้กับ freeweibo.me อย่างไรก็ตาม หลังจากใช้งานไปหลายสัปดาห์ เซิร์ฟเวอร์ก็ไม่พบบล็อกใหม่อีก จากการสอบสวนพบว่ามี 2 ประเด็น หนึ่งคือแพลตฟอร์ม Weibo ได้เปลี่ยนอินเทอร์เฟซ API เดิม อีกประการหนึ่งคือคำขอ API ของโปรแกรมรวบรวมข้อมูลเกินขีดจำกัดอัตรา (1,000 ต่อนาที) เนื่องจากการเพิ่มขึ้นของบล็อกและผู้ใช้ในฐานข้อมูล ดังนั้นฉันจึงปรับโค้ดของฉันให้ใช้อินเทอร์เฟซใหม่และลดจำนวนคำขอ API ต่อนาที โปรแกรมรวบรวมข้อมูลมีเสถียรภาพตั้งแต่นั้นเป็นต้นมา

ฉันประสบปัญหาว่าจะให้คนจำนวนมากทราบเกี่ยวกับไซต์หรือไม่ ฉันรู้ว่ายิ่งมีคนเข้าชมไซต์มากเท่าไหร่ รัฐบาลก็จะดมกลิ่นและถูกบล็อกได้เร็วเท่านั้น ดังนั้นฉันจึงแชร์ไซต์กับเพื่อนบางคนเท่านั้น ในขั้นต้นมีเพียงประมาณ 10 ถึง 20 การเข้าชมต่อวัน แต่หนึ่งเดือนต่อมา มีผู้เข้าชม 80 คนขึ้นไปในบางวัน และฉันมีสมาชิกอีเมลหลายสิบคน

และตามที่ฉันคาดไว้ ตอนเช้าก็มาถึงเมื่อฉันพบว่าไซต์ของฉันถูกบล็อกในประเทศจีน มันกินเวลาประมาณสามเดือน เพื่อเข้าถึงไซต์หลังจากนั้น ผู้ใช้ต้องใช้บริการ VPN tunneling เพื่อเยี่ยมชมไซต์ สิ่งนี้ไม่สามารถทำได้สำหรับผู้ใช้อินเทอร์เน็ตชาวจีนส่วนใหญ่

อย่างไรก็ตาม ในวันเดียวกันนั้นเอง ฉันรู้สึกโล่งใจและดีใจที่พบว่าไซต์อื่น freeweibo.com ให้บริการเหมือนกันทุกประการ และซับซ้อนกว่าที่ฉันสร้างขึ้น โครงการ freeweibo.com มีไหวพริบมาก มีการใช้งานบนโซเชียลมีเดียและให้วิธีการต่างๆ ในการเข้าถึงเนื้อหา เช่น ฟีด RSS การสมัครอีเมล และมิเรอร์ไซต์สำหรับผู้ใช้ในประเทศ มันมีแอพมือถือด้วย! ฉันไม่รู้ว่าใครเป็นคนสร้างไซต์ แต่ฉันดีใจที่เราแบ่งปันวิสัยทัศน์เดียวกัน

บทสรุป

จากสถานการณ์ต่างๆ เห็นได้ชัดว่าไซต์ของฉันไม่มีประโยชน์อีกต่อไป และฉันก็ปิดไซต์ดังกล่าวไปหลายเดือนให้หลัง

แม้ว่าผลลัพธ์จะออกมาเป็นอย่างไร ฉันไม่รู้สึกว่าโครงการนี้เปล่าประโยชน์ ตรงกันข้าม มันเป็นประสบการณ์ที่วิเศษมาก แม้ว่าจะมีชีวิตอยู่ได้เพียงไม่กี่เดือนก็ตาม มันช่วยให้ฉันซาบซึ้งกับความเป็นจริงในประเทศของฉันอย่างลึกซึ้ง

ในประเทศจีน ในการดำเนินธุรกิจอินเทอร์เน็ต คุณต้องระมัดระวังอย่างมากเกี่ยวกับการเซ็นเซอร์ มิฉะนั้นคุณจะประสบปัญหาไม่ช้าก็เร็ว แทบไม่มีทางใดที่เว็บไซต์โซเชียลมีเดียจะประสบความสำเร็จหากพวกเขาไม่ปฏิบัติตามการเซ็นเซอร์ที่เข้มงวดและประนีประนอมกับความเป็นส่วนตัวของผู้ใช้

อัปเดต

ซอร์สโค้ด freeweibo.me พร้อมใช้งานบน GitHub แล้ว ที่นี่ ตามที่ระบุไว้ข้างต้น ซอร์สโค้ดนี้ไม่เกี่ยวข้องกับเว็บไซต์ที่คล้ายคลึงกัน freeweibo.com