عددسازی یا داده‌کاوی؟!

بازخوانی انتقادی نظرسنجی گمان پیرامون وقایع دیماه و جنگ 39 روزه

تعداد کلمات:۱۹۹۰ کلمه/ تخمین زمان مطالعه:۱۰ دقیقه

نویسنده: علی اکبر عبدالاحدی مقدم[۱]

 

مقدمه

نظرسنجی‌ها یکی از مهم‌ترین ابزارهای شناخت افکار عمومی و تحلیل تحولات اجتماعی و سیاسی‌اند. با این حال، اعتبار هر نظرسنجی تنها به تعداد پاسخ‌دهندگان، گستردگی موضوعات یا جذابیت نتایج آن وابسته نیست؛ بلکه پیش از هر چیز باید پرسید داده‌ها چگونه تولید شده‌اند، پاسخ‌دهندگان چه کسانی بوده‌اند و یافته‌ها تا چه اندازه قابلیت تعمیم به جامعه هدف را دارند.

گزارش «نظرسنجی نگرش ایرانیان درباره اعتراضات دی‌ماه ۱۴۰۴ و جنگ ۳۹روزه» که از سوی مؤسسه گمان منتشر شده از نظر تعداد پاسخ‌دهندگان، ارائه برخی جزئیات آماری و اشاره به وزن‌دهی و حجم نمونه مؤثر نسبت به بسیاری از نظرسنجی‌های غیرشفاف فضای مجازی، گزارشی قابل‌توجه‌تر است. با این حال، این گزارش با نقاط ضعف متعدد و ایرادات بنیادین مواجه است؛ نقاط ضعف متعدد و ایرادات که سبب شده تا نتایج یک نظرسنجی ناقص اینترنتی به‌عنوان تصویری قطعی از دیدگاه «کل مردم ایران» تفسیر شود.

مسئله اصلی آن است که نمونه این پژوهش، نمونه‌ای احتمالی و تصادفی از جمعیت ایران نیست؛ بلکه از میان کاربران سه نرم‌افزار عبور از فیلتر (شامل سایفون، لنترن و مهسانت) و به‌صورت خودانتخاب‌شده گردآوری شده است؛ افزون بر این مشخص نیست چه تعداد از کاربران از داخل ایران در این نظرسنجی شرکت کرده‌اند. بنابراین، داده‌های آن می‌تواند نشانه‌هایی مهم از نگرش بخشی از جمعیت متصل به اینترنت و آماده پاسخ‌گویی آنلاین ارائه کند، اما تبدیل این نتایج به برآوردهای قطعی درباره کل جامعه ایران از نظر روش‌شناختی با اشکال جدی روبه‌روست.

 

نمونه‌ای که تصادفی نیست

در یک نمونه‌گیری احتمالی هر فرد جامعه باید شانس معلوم و قابل محاسبه‌ای برای ورود به نمونه داشته باشد. این ویژگی به پژوهشگر اجازه می‌دهد میزان خطای نمونه‌گیری را برآورد و نتایج را با احتیاط مشخصی به جامعه تعمیم دهد. اما در نظرسنجی مورد بحث، مشخص نیست یک شهروند روستایی، سالمند، کم‌سواد، فاقد تلفن هوشمند یا فردی که اینترنت ضعیف دارد و یا از فیلترشکن استفاده نمی‌کند و یا اگر از فیلترشکن استفاده می‌کند از این ۳ فیلترشکن استفاده می‌کند یا نه، چه احتمالی برای مشاهده لینک و شرکت در نظرسنجی داشته است.

نمونه‌گیری از کاربرانی که از  VPN استفاده می‌کنند، حتی اگر تعداد پاسخ‌دهندگان بسیار زیاد باشد، به‌خودی‌خود نماینده تصادفی کاربران اینترنت ایران نیست. استفاده از فیلترشکن می‌تواند با متغیرهایی مانند سن، محل سکونت، میزان تحصیلات، وضعیت اقتصادی، مصرف رسانه‌ای و گرایش سیاسی ارتباط داشته باشد. کاربر VPN ممکن است جوان‌تر، مدرن‌تر، تحصیل‌کرده‌تر، فعال‌تر در شبکه‌های اجتماعی و بیشتر در معرض رسانه‌های برون‌مرزی باشد. از این رو، احتمال دارد نگرش او درباره اعتراضات، جنگ، حکومت، مداخله خارجی یا چهره‌های سیاسی با نگرش کسانی که از این ابزارها استفاده نمی‌کنند، تفاوت داشته باشد.

مشکل دوم، خودانتخابی در پاسخ‌گویی است. حتی در میان کاربران همان سه فیلترشکن، همه افراد وارد نمونه نمی‌شوند؛ فقط کسانی پاسخ می‌دهند که لینک را دیده، روی آن کلیک کرده و پرسشنامه را تا پایان تکمیل کرده‌اند. افراد دارای انگیزه سیاسی بیشتر، کسانی که نسبت به موضوعات مورد پرسش رضایت یا نارضایتی شدید دارند و افرادی که درگیر اخبار اعتراضات و جنگ بوده‌اند، ممکن است بیش از دیگران در نظرسنجی شرکت کنند.

 

چارچوب نمونه‌گیری؛ حلقه مفقوده گزارش

برای ارزیابی میزان سوگیری انتخاب، باید اطلاعاتی درباره فرایند دسترسی به پاسخ‌دهندگان منتشر شود. از جمله اینکه لینک نظرسنجی برای چه تعداد کاربر نمایش داده شده، چند نفر وارد پرسشنامه شده‌اند، نرخ تکمیل چقدر بوده و در هر مرحله چه میزان ریزش رخ داده است.

همچنین مشخص نیست سهم هر یک از سه پلتفرم فیلترشکن در نمونه نهایی چقدر بوده و آیا پاسخ‌های کاربران این پلتفرم‌ها تفاوت معناداری با یکدیگر داشته‌اند یا نه. اگر بخش عمده پاسخ‌ها از یک پلتفرم خاص آمده باشد، ممکن است ویژگی‌های کاربران همان پلتفرم بر کل نتایج اثر گذاشته باشد.

نبود اطلاعات درباره پاسخ‌های تکراری، پاسخ‌های رباتی، پرسشنامه‌های ناقص یا معیار حذف پاسخ‌های نامعتبر نیز ارزیابی کیفیت داده‌ها را دشوار می‌کند. بدون این جزئیات، نمی‌توان به‌درستی درباره میزان سوگیری نمونه یا کیفیت فرایند گردآوری داده‌ها داوری کرد.

 

ادعاهای گسترده براساس نمونه آماری محدود

گزارش، جامعه هدف خود را ساکنان باسواد ایران، ۱۵ سال به بالا، دارای دسترسی به اینترنت و توانایی خواندن و پاسخ‌دادن به پرسش‌های آنلاین معرفی می‌کند. این تعریف از نظر روش‌شناسی اهمیت زیادی دارد، اما در تفسیرهای سیاسی همیشه به‌طور دقیق رعایت نمی‌شود.

میان «جمعیت باسواد ۱۵ سال به بالای دارای دسترسی به اینترنت» و «کل مردم ایران» تفاوت اساسی وجود دارد. سالمندان، روستاییان، ساکنان مناطق دارای اینترنت ضعیف، افراد کم‌سواد، کسانی که تلفن هوشمند یا اینترنت آزاد ندارند و افرادی که به دلایل امنیتی از پاسخ‌گویی به پرسش‌های سیاسی خودداری می‌کنند، ممکن است در این نمونه کم‌نمایی یا اساساً حذف شده باشند.

از این منظر، گزاره‌هایی مانند «۴۷ درصد جامعه خواهان براندازی‌اند» یا «۲۵ درصد جامعه در اعتراضات شرکت کرده‌اند»، بدون اشاره روشن به جامعه آماری واقعی، گمراه‌کننده و اشتباه است.

 

وزن‌دهی؛ اصلاح ترکیب، نه بازسازی غایبان

حجم نمونه خام نظرسنجی ۳۱ هزار و ۴۵۰ نفر اعلام شده است، اما ترکیب این نمونه با جمعیت هدف تفاوت‌های چشمگیری دارد. برای مثال، سهم زنان در نمونه خام ۲۲.۸ درصد بوده، در حالی که پس از وزن‌دهی به ۴۷.۸ درصد رسیده است. سهم روستاییان از ۴.۸ درصد به ۲۰.۳ درصد افزایش یافته و سهم افراد ۱۵ تا ۲۹ سال از ۸.۱   درصد به ۲۸.۴ درصد رسیده است. در مقابل، مردان، افراد بالای ۵۰ سال، ساکنان شهر، تهرانی‌ها و افراد دارای تحصیلات دانشگاهی در نمونه خام بیش از سهم هدف حضور داشته‌اند.

وزن‌دهی آماری می‌تواند تعداد پاسخ‌های گروه‌های کم‌نمایش را در محاسبات افزایش دهد و توزیع ظاهری نمونه را به جمعیت هدف نزدیک کند؛ اما وزن‌دهی نمی‌تواند به‌طور واقعی نگرش کسانی را که در نمونه حضور نداشته‌اند، وارد داده‌ها کند.

برای مثال، افزایش وزن پاسخ زنان روستاییِ کاربر VPN، به معنای دسترسی به دیدگاه زنان روستاییِ غیرکاربر VPN نیست. اگر این دو گروه از نظر سیاسی، اقتصادی یا رسانه‌ای تفاوت داشته باشند، وزن‌دهی صرفاً تعداد آماری گروه نخست را افزایش می‌دهد نه اینکه غیبت گروه دوم را جبران کند.

 

فاصله زیاد حجم نمونه مؤثر با حجم کل نمونه

گزارش، حجم نمونه مؤثر را ۶ هزار و ۲۱۱ نفر اعلام می‌کند. این رقم تقریباً یک‌پنجم حجم نمونه خام است. کاهش شدید حجم مؤثر نشان می‌دهد وزن‌ها ناهمگون بوده و برخی پاسخ‌ها نقش آماری بسیار بیشتری از پاسخ‌های دیگر پیدا کرده‌اند.

این مسئله دو پیامد مهم دارد. نخست اینکه دقت واقعی برآوردها بسیار کمتر از چیزی است که عدد ۳۱ هزار پاسخ‌دهنده در نگاه اول القا می‌کند. دوم اینکه نتایج مربوط به گروه‌هایی که در نمونه خام کم‌نمایی شده‌اند (مانند زنان، جوانان، روستاییان و افراد کم‌تحصیل) به وزن‌های سنگین وابسته و بنابراین شکننده‌ترند.

در چنین شرایطی، انتشار درصدهای دقیق بدون ارائه دامنه عدم‌قطعیت برای هر نتیجه ممکن است تصویری بیش از اندازه قطعی از یافته‌ها ایجاد کند.

 

اعتبار سه درصد و خطای واقعی کل نظرسنجی

گزارش از سطح اعتبار ۹۵ درصد و فاصله اعتبار محافظه‌کارانه سه واحد درصد سخن می‌گوید. اما این عدد در نظرسنجی‌های غیرتصادفی معنایی متفاوت از نظرسنجی‌های مبتنی بر نمونه احتمالی دارد.

در این پژوهش، احتمال انتخاب افراد مشخص نیست، سوگیری پوشش وجود دارد، پاسخ‌گویی خودانتخاب‌شده است، نرخ عدم پاسخ روشن نیست و اثر پلتفرم‌های جذب پاسخ‌دهنده نیز معلوم نشده است. بنابراین، عدد سه درصد، در بهترین حالت، عدم‌قطعیت ناشی از حجم نمونه و وزن‌دهی را تحت مفروضات آماری خاص نشان می‌دهد نه کل خطای واقعی برآورد.

ممکن است سوگیری ناشی از پوشش اینترنتی، استفاده از VPN، انگیزه سیاسی یا خودداری امنیتی از پاسخ‌گویی، بسیار بیشتر از سه درصد باشد. بنابراین این فاصله نباید به‌عنوان حاشیه خطای قطعی و جامع گزارش تفسیر شود.

 

پرسش‌های سیاسی و قاب‌بندی جهت‌دار

بخش دیگری از نقد به نحوه صورت‌بندی پرسش‌ها مربوط است. در پرسش مربوط به برخورد حکومت با اعتراضات، پیش از ارائه گزینه‌های پاسخ، از تعابیری مانند «برخورد بسیار خشونت‌بار»، «کشتار گسترده»، «بازداشت‌های گسترده» و «محدودیت شدید اینترنت» استفاده شده است.

ممکن است این تعابیر از نظر خبری یا حقوق‌بشری قابل دفاع باشند، اما از منظر روش پیمایش، پرسش را در چارچوبی از پیش تعیین‌شده قرار می‌دهند. برای سنجش اثر قاب‌بندی، بهتر بود نسخه‌ای خنثی‌تر از سؤال نیز در اختیار گروهی دیگر قرار گیرد تا مشخص شود آیا مقدمه توصیفی بر پاسخ‌ها اثر گذاشته است یا خیر.

در پرسش مربوط به حمله آمریکا و اسرائیل نیز دو گزینه «تجاوز نظامی به ایران» و «مداخله بشردوستانه برای حفاظت از مردم ایران» در برابر یکدیگر قرار گرفته‌اند. این دو عبارت از نظر عاطفی و حقوقی هم‌سطح نیستند. فردی ممکن است با حمله نظامی مخالف باشد، اما آن را تجاوز حقوقی نداند؛ یا با جمهوری اسلامی مخالف باشد، اما مداخله خارجی را بشردوستانه تلقی نکند. دوگانه‌سازی پرسش، امکان بیان مواضع پیچیده و میانه را محدود می‌کند.

 

گزارش تغییر نگرش نه تغییر واقعی

در بخش‌هایی از گزارش درباره تغییر نگرش نسبت به مداخله خارجی یا رضا پهلوی، پاسخ‌دهندگان درباره دیدگاه «قبل» و «بعد» از جنگ یا اعتراضات اظهارنظر کرده‌اند. این روش، داده طولی واقعی تولید نمی‌کند؛ زیرا نگرش افراد پیش از رویداد در همان زمان اندازه‌گیری نشده است.

پاسخ‌دهنده در زمان حال باید گذشته خود را به یاد آورد و آن را بازسازی کند. در این فرایند، سوگیری یادآوری، بازسازی پسینی و تلاش برای هماهنگ نشان دادن موضع گذشته با موضع فعلی می‌تواند اثرگذار باشد. از این داده‌ها می‌توان فهمید برخی پاسخ‌دهندگان احساس می‌کنند نگرش‌شان تغییر کرده است اما نمی‌توان با اطمینان گفت جنگ یا اعتراضات علت مستقیم این تغییر بوده‌اند.

برای اثبات تغییر واقعی، به نظرسنجی‌های تکرارشونده با پرسش‌های یکسان یا داده‌های پنلی از همان افراد در چند مقطع زمانی نیاز است.

 

فاصله زیاد بین موافقت با شعار تا حمایت سیاسی

موافقت با یک شعار الزاماً به معنای استفاده از آن در اعتراضات، حمایت از جریان سیاسی مرتبط با آن یا پذیرش همه دلالت‌های تاریخی و سیاسی آن نیست. فردی ممکن است با شعار «نه به اعدام» موافق باشد اما در هیچ تجمعی آن را بیان نکرده باشد. همچنین ممکن است فردی با شعار «زن، زندگی، آزادی» همدل باشد، اما با تمام گروه‌ها و جریان‌های سیاسی منتسب به آن همسو نباشد. شعارهای اخلاقی و فراگیر، مانند مخالفت با اعدام، معمولاً هزینه سیاسی کمتری دارند؛ در حالی که شعارهایی مانند «جاوید شاه» یا شعارهای ضدآمریکایی، هویت سیاسی مشخص‌تر و قطبی‌تری دارند. بنابراین تفاوت میزان موافقت با شعارها لزوماً اندازه واقعی پایگاه سیاسی جریان‌های مختلف را نشان نمی‌دهد.

 

تعمیم بی‌دلیل و برآوردهای میلیونی

یکی از حساس‌ترین نتایج گزارش، برآورد حدود ۱۴ میلیون نفر برای مشارکت در اعتراضات است. این رقم بر پایه خوداظهاری حدود ۲۵ درصد از پاسخ‌دهندگان و تعمیم آن به جمعیت هدف محاسبه شده است.

اما مفهوم «شرکت در اعتراضات» می‌تواند بسیار گسترده باشد؛ از حضور کوتاه و گذرا تا حضور در تجمع محلی یا فعالیت اعتراضی در طول یک دوره. افزون بر این، حدود یک‌چهارم پاسخ‌دهندگان به این پرسش پاسخ نداده‌اند.

از سوی دیگر، کاربران VPN احتمالاً از نظر سیاسی با کل جمعیت تفاوت دارند و هیچ بازه عدم‌قطعیت واقعی برای این برآورد میلیونی ارائه نشده است. بنابراین، رقم ۱۴ میلیون را به هیچ‌وجه نشان اندازه‌گیری قطعی مشارکت در اعتراضات نیست؛ بلکه باید آن را برآوردی مدل‌محور و بسیار وابسته به فرض‌های نمونه‌گیری که ایرادات فراوان دارد، دانست.

 

جمع‌بندی نهایی

نظرسنجی مورد بحث، داده‌هایی مهم برای مطالعه نگرش‌های بخشی از جامعه متصل به اینترنت فراهم می‌کند و می‌تواند در شناخت روندها، شکاف‌های سیاسی و اجتماعی و میزان قطبی‌شدن دیدگاه‌ها مفید باشد. با این حال، اعتبار هر نتیجه به جامعه‌ای محدود است که واقعاً در معرض نظرسنجی قرار داشته است.

نمونه این پژوهش خودانتخاب‌شده و غیرتصادفی است؛ از کاربران سه ابزار عبور از فیلتر تشکیل شده؛ ترکیب خام آن با جمعیت هدف تفاوت‌های بزرگی دارد؛ وزن‌دهی شدید حجم نمونه مؤثر را به حدود یک‌پنجم کاهش داده؛ نرخ مشاهده لینک، نرخ پاسخ و نرخ تکمیل روشن نیست و برخی پرسش‌ها نیز با قاب‌بندی سیاسی یا دوگانه‌های نامتقارن طراحی شده‌اند.

همچنین، استفاده از زبان علّی درباره اثر جنگ یا اعتراضات، تفسیر «گزارش تغییر نگرش» به‌عنوان تغییر واقعی، تعمیم دیدگاه شرکت‌کنندگان در اعتراضات به کل جامعه و تبدیل درصدهای شکننده به ارقام میلیونی فراتر از ظرفیت داده‌های ارائه‌شده است.

بنابراین می‌توان چنین نتیجه گرفت که هرچند داده‌های گزارش با اغماض می‌تواند نشانه‌ای از نگرش بخشی از جمعیت باسواد، دارای دسترسی اینترنت و کاربر ابزارهای عبور از فیلتر (بدون مشخص بودن داخل ایران یا خارج ایران) باشد، اما به هیچ وجه نشان‌دهنده افکار عمومی کل مردم ایران نیست.

 

پاورقی

[۱] -عضو هیات علمی پژوهشکده حکمرانی اجتماعی و فرهنگی

 

این مقاله را به اشتراک بگذارید