Kekeliruan dalam memantau dan mengevaluasi kampanye perubahan sosial

Jika Anda berpikir likes dan shares saja sudah cukup untuk mengukur keberhasilan kampanye untuk mendorong perubahan sosial, maka Anda keliru.

By Paramita Mohamad
April 18, 2022
Mungkin Anda pasti pernah melihat —atau bahkan terlibat langsung— kampanye berupa petisi daring untuk mengumpulkan ratusan ribu tandatangan. Apa menurut Anda yang menjadi ukuran keberhasilan kampanye-kampanye ini? Jumlah “like” dan “share”? Diliput media? Dianggap “viral”? Jumlah tanda-tangan yang mendukung petisi daring? Hal-hal ini hanyalah aspek kecil dan bahkan kurang relevan untuk menilai apakah sebuah kampanye untuk mendorong perubahan sosial efektif atau tidak.

Semua organisasi masyarakat sipil (disingkat OMS) bercita-cita memperbaiki kehidupan masyarakat yang menjadi konstituennya, tapi ada banyak hambatan yang menghalangi cita-cita itu. Salah satu hambatannya adalah adanya kebijakan atau praktik yang mengganggu kemaslahatan bersama (misalnya kebijakan yang diskriminatif atau mendorong kerusakan lingkungan). Salah satu hambatan lainnya adalah tingkah laku sebagian dari masyarakat yang dinilai merugikan diri sendiri atau orang lain.

Untuk mengatasi hambatan ini, banyak OMS yang akhirnya melakukan kampanye publik. Jika hambatan yang ingin mereka atasi adalah adalah kebijakan, maka kampanye akan bertujuan menggerakan warga untuk menuntut kebijakan itu diubah. Jika hambatannya adalah perilaku sebagian masyarakat, maka kampanye bertujuan untuk mengubahnya. Kampanye yang bertujuan mengubah kebijakan atau yang mengubah perilaku masuk dalam kategori “kampanye perubahan sosial”.

Sejak orang Indonesia getol menggunakan media sosial, kita gampang berpapasan dengan contoh kampanye perubahan sosial. Berbagai kalangan meluncurkan kampanye perubahan perilaku masyarakat di awal pandemi COVID-19. Kampanye-kampanye ini umumnya mengajak masyarakat mengadopsi perilaku baru seperti menggunakan masker, lebih sering cuci tangan dengan cara yang benar, menjaga jarak fisik dengan orang lain, dan menghindari kerumunan. Setelah vaksin COVID tersedia, maka muncul kampanye mengajak orang untuk divaksinasi lengkap.

Contoh kampanye mendorong perubahan kebijakan yang paling akhir di Indonesia adalah menuntut pengesahan Rancangan Undang-Undang Tindak Pidana Kekerasan Seksual (RUU TPKS) menjadi Undang-undang. Usaha mendorong munculnya UU sebetulnya sudah mulai sejak 10 tahun lalu, namun kampanye publik mulai mengemuka paling tidak sejak paruh kedua 2021. Bahan-bahan materi kampanye publik ini mulai dari liputan media, penjelasan apa itu kekerasan seksual dan mengapa perlu ada undang-undang khusus di Indonesia, sampai akhirnya merebak menjadi pembicaraan organik (bukan dipicu pihak penggerak kampanye) di media sosial. Tentu saja tidak ketinggalan penggalangan dukungan untuk petisi daring yang berhasil mengumpulkan 349.743 tanda-tangan. Advokasi kebijakan dan kampanye publik ini sudah menunjukkan hasil yang cukup menggembirakan: RUU TPKS akhirnya disahkan DPR menjadi UU tanggal 12 April 2022.

Bisakah kita menilai bahwa karena akhirnya UU TKPS disahkan, maka kita bisa melihat bahwa kampanye publik menggalang dukungan masyarakat terhadap RUU ini efektif alias berhasil? Dengan melihat jumlah kasus, jumlah kematian, dan tingkat reproduktivitas (Ro) COVID19 di Indonesia, bisakah kita menilai bahwa kampanye-kampanye perubahan tingkah laku yang ada efektif atau tidak?

Lalu bagaimana dengan kampanye-kampanye perubahan sosial lain? Jika kebijakan yang didorong belum juga disahkan setelah melakukan kampanye perubahan sosial selama bertahun-tahun, apakah niscaya kita bisa memvonis bahwa kampanyenya gagal? Lalu bagaimana jika kebijakan yang disahkan ternyata isinya berbeda jauh dengan usulan CSO? Apakah kampanye perubahan sosial yang menyertai upaya advokasi kebijakan masih bisa dikatakan berhasil?

Pertanyaan-pertanyaan yang sama bisa diajukan ke kampanye perubahan perilaku. Kapankah sebuah kampanye perubahan perilaku bisa dianggap efektif? Kita sudah sering melihat kampanye “meningkatkan kesadaran masyarakat tentang isu kesehatan mental” di media sosial, Jika makin banyak orang yang menyebut istilah-istilah kesehatan mental dalam pembicaraan sehari-hari namun jumlah orang yang menerima layanan psikologis atau psikiatris masih juga belum meningkat, bisakah kita bilang bahwa kampanye ini gagal?

Jika ditanya soal efektivitas kampanye perubahan sosial, mereka yang sedang mengelola kampanye perubahan sosial (terutama yang berlangsung di kanal media sosial) biasanya menyebutkan angka-angka hasil pengukuran impression, reach, like, share, engagement rate, tanggapan, atau jumlah tanda-tangan yang mendukung petisi daring. Kadang-kadang mereka pun menyebutkan berapa banyak media yang meliput kampanye mereka. Jika angka-angkanya dianggap cukup bagus (walau seringnya tidak jelas dibandingkan dengan tolok-ukur apa), biasanya mereka merasa cukup bangga sudah berhasil mengerjakan satu tugas yang penting atau mulia. Namun betulkah tanggapan atas materi yang diunggah sama dengan efektivitas?

Jadi bagaimanakan seharusnya efektivitas sebuah kampanye perubahan sosial diukur? Jawaban singkatnya adalah: sebuah kampanye perubahan sosial dianggap efektif jika berhasil mendatangkan perubahan yang diinginkan. Lalu bagaimana kita menentukan perubahan apa yang secara realistis bisa dibawa sebuah kampanye perubahan sosial, dan bukan faktor-faktor lain? Caranya adalah dengan menyusun teori perubahan sebagai langkah awal dalam membuat strategi kampanye.

Sebuah kampanye harus punya teori perubahan
Teori perubahan (diterjemahkan dari “theory of change”) kedengarannya rumit atau bahkan mistis, tapi sebetulnya cukup sederhana. Semua OMS ingin mendatangkan perubahan yang berujung kebaikan masyarakat . Kebanyakan perubahan itu baru akan terjadi jika ada satu atau lebih masalah yang perlu dipecahkan, sehingga situasi saat ini tidak ideal. Teori perubahan adalah sejumlah hipotesis tentang bagaimana program yang dijalankan OMS bisa memecahkan masalah(-masalah) itu, sehingga perubahan yang diinginkan akhirnya bisa hadir. Bentuk teori perubahan bisa sebuah diagram sederhana, atau sebuah alinea pendek dengan kalimat-kalimat yang formatnya “jika…, maka…”.

Sudah banyak OMS yang membuat teori perubahan sebelum memulai setiap programnya. Namun sayangnya kegiatan kampanye OMS kebanyakan tidak diawali dengan membuat teori perubahan. Berdasarkan tanya jawab dengan staf OMS, kami menduga ini terjadi karena kampanye perubahan sosial biasanya hanya dipandang sebagai salah satu aktivitas taktis dalam program, dan dianggap sejalan dengan acara seperti seminar atau lokakarya.

Bagaimana menyusun teori perubahan untuk kampanye perubahan sosial? Ikuti langkah-langkah berikut:
  1. Lukiskan apa yang Anda lihat jika perubahan utama yang organisasi Anda dorong akhirnya tercapai (“what success looks like?”). Apa yang Anda lihat di situasi itu, yang beda daripada kondisi saat ini? Tulis dalam sebuah kotak.
  2. Mundur ke belakang: sebelum “kemenangan pemungkas” itu tercapai, apa yang harus ada dulu? Jika perlu Anda harus mundur beberapa tahap (dan mengisi beberapa kotak) sampai Anda menemui kondisi seperti “kebijakan X berubah (dicabut, direvisi, atau disahkan)” atau “kelompok X melakukan (perilaku spesifik”).
  3. Setelah menulis kotak-kotak tadi dan sampai di kotak tentang perubahan kebijakan atau perubahan perilaku, maka berhenti sejenak. Anda harus loncat ke situasi saat ini. Lukiskan apa yang terjadi sekarang (situasi baseline atau paduk).
  4. Tulis satu kotak baru yang menghubungkan kotak yang Anda isi di langkah 2 dan 3. Kotak ini seharusnya adalah tujuan kampanye perubahan sosial.
Ini contoh teori perubahan untuk sebuah kampanye mendorong perubahan kebijakan:
communication strategy, communication consultant, CSO communication, non-profit communication, communication training, NGO communication, communication for change
Teori perubahan untuk kampanye perubahan.
Dan ini contoh teori perubahan untuk sebuah kampanye mendorong perubahan perilaku:
communication strategy, communication consultant, CSO communication, non-profit communication, communication training, NGO communication, communication for change
Contoh teori perubahan untuk sebuah kampanye mendorong perubahan perilaku
Dengan menyusun teori perubahan, maka penggerak kampanye akan lebih paham tentang dua hal: apa tujuan kampanye, dan perubahan apa yang harus terjadi lebih dahulu di sasaran kampanye, agar dampak yang diinginkan lebih mungkin terjadi. Efektivitas kampanye perubahan sosial diukur berdasarkan sejauh mana sasaran yang berhasil dijangkau kampanye akhirnya benar-benar berubah perilakunya. Perubahan yang terjadi pada sasaran kampanye disebut sebagai outcome (hasil) kampanye perubahan sosial.

Contohnya, efektivitas kampanye perubahan kebijakan tentang pelestarian hutan diukur dari berapa banyak mereka yang terpapar materi kampanye yang akhirnya ikut menyuarakan tuntutan. Namun kita tahu bahwa banyaknya rakyat yang menuntut tidak menjamin bahwa pembuat kebijakan akan melakukan sesuatu (misalnya karena ada kepentingan lain). Demikian pula halnya dengan kampanye perubahan perilaku terkait penanggulangan TBC. Ukuran kesuksesannya adalah jumlah orang yang akhirnya datang ke klinik pemeriksaan TBC setelah melihat kampanye. Jumlah orang yang dites dan lantas didiagnosis TBC tergantung dari faktor lain, misalnya ketersediaan alat dan bahan, sehingga tidak sepenuhnya bisa jadi “tanggung jawab” kampanye.

Jika teori perubahan membuat kita makin jelas tentang tujuan kampanye dan hasil yang diharapkan, maka sekarang kita bisa mengupas bagaimana memantau kinerja dan mengevaluasi kampanye perubahan sosial.

Mengukur output dan outcome untuk memantau dan mengevaluasi
Sekali lagi: keberhasilan satu kampanye perubahan sosial diukur dari seberapa banyak orang yang dijangkau kampanye berubah tingkah lakunya sehingga membuat dampak yang diharapkan lebih mungkin terjadi. Artinya, sejauh mana sebuah kampanye berhasil menjangkau kelompok yang seharusnya memang dijangkau adalah prasyarat penting dari efektivitas kampanye.

Sejauh mana sebuah kampanye berhasil menjangkau kelompok yang seharusnya dijangkau adalah pertanyaan terkait output (keluaran) kampanye. Dalam mengukur keluaran, kita akan menjawab pertanyaan berikut
  1. Apakah materi kampanye memapar kelompok yang disasar?
  2. Apakah sasaran kampanye tertarik dengan kontennya?
  3. Apakah sasaran kampanye memahami dan menyukai kontennya?

Untuk menjawab pertanyaan pertama (“Apakah materi kampanye memapar kelompok yang disasar?)”, kita mengukur metrik berikut:
  • Impressions mengacu pada seberapa banyak materi kampanye tersebar ke sasaran kampanye:
  • Dalam ranah digital impressions diukur dari berapa kali materi sebuah kampanye (video, iklan display, iklan audio di podcast, laman iklan programatik, tautan ke situs dalam search, dll) tampil di layar pengguna Internet selama jangka waktu tertentu
  • Untuk kanal televisi dan radio, impressions sulit diukur, namun biasanya disepadankan dengan gross rating point, yakni jumlah orang yang menyalakan TV atau radio di saat sebuah acara tayang, dikali berapa kali iklan itu tayang di acara tersebut. Jumlah orang yang memasang TV atau radio di suatu acara biasanya didapat dari perusahaan semacam Nielsen.
  • Untuk kanal luar ruangan (spanduk, baliho, billboard), impressions dipadankan dengan volume trafik yang lewat di depan materi kampanye.
  • Reach dalam ranah digital dihitung dari berapa jumlah pengguna Internet yang terpapar sebuah materi kampanye. Jika impressions menghitung duplikasi (orang yang sama terpapar sebuah materi sebanyak 5 kali dihitung sebagai 5 impressions), reach hanya menghitung per individu (dalam contoh ini, 5 impressions dihitung sebagai 1 reach karena hanya ada satu pengguna Internet). Sungguh sulit mengukur langsung reach dalam media non-digital (kecuali jumlah pengunjung sebuah acara, mungkin), dan biasanya hanya bisa diestimasi berdasarkan model matematik.

Untuk menjawab pertanyaan kedua (“Apakah sasaran kampanye tertarik dengan materinya?’), kita mengukur metrik engagement. Engagement dalam ranah digital dihitung dari jumlah interaksi dari audiens yang ditujukan pada sebuah materi kampanye. Dalam media sosial, engagement bisa berupa like, share, dan jumlah tanggapan. Di situs web, diukur menggunakan bounce rate, time per session, pages per session.

Untuk menjawab pertanyaan ketiga, satu-satunya cara untuk mengukurnya adalah dengan melakukan survei singkat dengan orang yang pernah melihat kontennya. Kita akan bertanya apakah mereka bisa mengenali atribut esensial dari kampanye itu, seperti pesan inti, visual kunci, atau organisasi yang berkampanye.

Dari paparan di atas, jelas bahwa ada dua faktor yang mempengaruhi besar-kecilnya output. Faktor yang terbesar adalah anggaran untuk menyebarkan materi-materi kampanye, termasuk melalui iklan berbayar. Faktor kedua adalah bagaimana materi-materi kampanye dibuat: apakah cukup menarik perhatian, memudahkan orang memahami pesan kunci, mengingat visual yang penting, atau mengenali siapa yang berkampanye.

Bagaimana caranya mengukur outcome (hasil) sebuah kampanye perubahan sosial? Dalam hal ini, pertanyaan yang ingin dijawab adalah “Apakah sasaran kampanye mengubah perilakunya sesuai seperti yang diharapkan setelah terpapar materi kampanye?”. Cara terbaik untuk mengukur hasil adalah membandingkan paduk (baseline) dengan garis akhir (endline). Dengan kata lain, kita seharusnya melakukan dua kali survei tentang apa pendapat, perasaan, dan perilaku sasaran kampanye: sekali sebelum kampanye dimulai, dan sekali lagi setelah kampanyer berakhir. Sayangnya pengukuran ideal ini jarang terjadi di Indonesia karena banyak organisasi yang melewatkan riset audiens saat menentukan baseline.

Opsi yang lebih mungkin untuk dilakukan tetapi kurang valid adalah menggunakan proksi. Namun, pendekatan model ini juga memerlukan perbandingan baseline dengan endline (atau midline ). Faktor yang dibandingkan adalah minat atau sentimen orang terhadap isu yang dibahas. Perbandingan ini dapat menggunakan Google Trends untuk mencari tahu sejauh mana topik ini jadi bahan pencarian sebelum vs sesudah kampanye. Perbandingan ini juga bisa menggunakan analisis jaringan di media sosial, atau melihat volume penyebutan dan sebaran siapa saja yang menyebut istilah-istilah kunci dari topik di media sosial sebelum vs sesudah kampanye.

Pilihan lain yang kurang valid adalah hanya mengukur endline (pendapat, perasaan, atau perilaku) dari dua kelompok dengan karakteristik yang sama, dan hanya berbeda dalam hal terpapar tidaknya mereka dengan materi kampanye. Tantangannya adalah memastikan kelompok-kelompok tersebut hanya berbeda dalam tingkat keterpaparan terhadap konten, dan bukan hal lain seperti tingkat sosio-ekonomi, pendidikan, budaya, dan lain-lain.

Ingin tahu lebih dalam tentang bagaimana menyusun strategi kampanye perubahan sosial? Atau organisasi Anda ingin kami dampingi dalam menjalankan kampanye tersebut? Ikuti pelatihan dari C4C dengan menghubungi nomor WhatsApp kami (+62 8966-6666-727).
Paramita Mohamad
Written by
CEO and Principal Consultant of Communication for Change. We work with those who want to make Indonesia suck less, by helping them get buy-in and make changes.

Related Articles