Phone Farm (Hardware Mobile Swarm)

Infrastruktur Phone Farm merupakan subsistem pemanenan data percakapan media sosial berbasis perangkat keras fisik (Hardware-in-the-Loop Crawler). Berbeda dengan pipeline indeks data biasa, Phone Farm adalah mesin infrastruktur penopang (underlying engine, seperti halnya AIOS) yang mengorkestrasi armada 20 unit ponsel pintar Samsung Galaxy S10 (10.10.10.23:5555 s/d 10.10.10.42:5555) melalui antarmuka Android Debug Bridge (ADB over TCP/IP).

Pipeline ini dipicu secara berkala setiap 15 menit melalui Cron Scheduler. Pada setiap siklusnya, modul B3 Scraper melakukan pemanenan awal terhadap trending topics dan kata kunci terpopuler di platform X (Twitter), mengirimkannya ke model AI untuk penyesuaian taksonomi (AI Taxonomy Adjustment), lalu mengerahkan armada ponsel fisik untuk memanen konten percakapan mendalam (deep multi-platform scraping) di berbagai aplikasi native (X, Instagram, TikTok, Facebook).

1. Spesifikasi Infrastruktur & Modul Pelaksana

2. Diagram Alur Eksekusi End-to-End

Berikut alur lengkap dari siklus cron 15 menit, penyesuaian taksonomi oleh AI, hingga penyimpanan postingan:

3. Rincian 7 Tahapan Eksekusi Komputasi

Tahap 1: Pemicu Cron 15 Menit & Scraping Trending di Platform X

Setiap 15 menit (*/15 * * * *), modul B3 Scraper menjalankan sub-rutin ekstraksi topik tren dari platform X (Twitter) geolokasi Indonesia (WOEID: 23424846):

1. Target Data: 50 frasa tren / tagar teratas di linimasa X.
2. Atribut yang Dikumpulkan:
   • Kata kunci / Tagar (topic).
   • Estimasi volume tweet (tweet_volume).
   • Posisi peringkat saat snapshot diambil (rank 1 s.d. 50).
   • Label konteks bawaan platform (misal: Politics, Business, Trending).

Tahap 2: Pemrosesan AI untuk Penyesuaian Taksonomi (AI Taxonomy Adjustment)

Daftar trending topic mentah dari platform X tidak langsung disebarkan ke armada ponsel. Data tersebut dialirkan ke Model AI (NLP / LLM Taxonomy Classifier) untuk diproses:

1. Penyaringan Noise & Disambiguasi:
   • Model AI membedakan topik hiburan/K-Pop/giveaway dengan isu strategis nasional yang berdampak pada stabilitas publik.
2. Penyesuaian Struktur Taksonomi (Taxonomy Adjustment):
   • Model AI mencocokkan kata kunci ke kamus pohon taksonomi internal (taxonomy_nodes).
   • Jika isu yang muncul merupakan terminologi baru (misal: istilah regulasi baru atau insiden mendadak), AI melakukan penyesuaian taksonomi dinamis: menentukan leaf node yang sesuai dan mengaitkannya ke salah satu dari Pilar Strategis Nasional (Politik, Keamanan & Kamtibmas, Ekonomi, Sosial, Hukum, Budaya, Geopolitik).
3. Skor Relevansi & Prioritas:
   • Menghasilkan bobot prioritas pemanenan (priority weight) agar ponsel fisik memprioritaskan isu yang memiliki dampak risiko publik tertinggi.

Tahap 3: Penyimpanan Snapshot & Master Trending di PostgreSQL

Hasil yang telah disesuaikan oleh AI disimpan langsung ke database relasional PostgreSQL:

• Tabel social_trending_topics: Memperbarui status topik aktif, pilar hasil klasifikasi AI, serta skor volume kumulatif.
• Tabel social_trending_snapshots: Menyimpan histori time-series pergeseran peringkat dan volume tweet setiap 15 menit untuk analisis tren lonjakan (velocity).

Tahap 4: Dispatcher Misi & 5-Way Fan-Out Manager

Kata kunci strategis aktif yang telah divalidasi oleh AI didistribusikan ke FanOutManager:

1. Topik dipecah menjadi sub-tugas pemanenan mendalam untuk 4-5 platform: X (Twitter), Instagram, TikTok, Facebook, dan YouTube Shorts.
2. Tugas diarahkan ke armada fisik melalui FarmAgent (Device Balancer).

Tahap 5: Verifikasi 3 Lapis Kesiapan Perangkat & Alokasi Round-Robin

Sebelum perintah dikirimkan ke perangkat fisik, balancer menjalankan filter bertingkat:

1. Lapis 1 — Health Gate & Circuit Breaker: Memeriksa konektivitas ADB over TCP/IP (adb get-state == 'device').
2. Lapis 2 — Package Verification: Memeriksa ketersediaan aplikasi native resmi pada ponsel.
3. Lapis 3 — Sesi Akun Aktif (TTL 60s): Memastikan akun pada aplikasi dalam kondisi login (dumpsys account).
4. Alokasi Round-Robin: Mendistribusikan platform berbeda ke unit fisik ponsel yang berbeda menggunakan pointer internal.

Tahap 6: Pre-Flight Check, Isolasi Layar, & Mitigasi Termal

1. Isolasi Layar (am force-stop): Mematikan paksa aplikasi medsos lain sebelum meluncurkan aplikasi target guna mencegah tabrakan UI dan dialog pop-up.
2. Peredupan Layar Fisik (screen_brightness 0): Mematikan lampu latar LCD/OLED agar ponsel tidak mengalami overheating (panas berlebih) di dalam rak server, sementara subsistem render Android tetap aktif.
3. Device Mutex Lock (self._is_busy = True): Menjeda proses background pada HP selama interaksi scraping berlangsung.

Tahap 7: Eksekusi Scraping UIAutomator2 & Direct Dual Sink Persistence

1. Pemanenan Konten: UIAutomator2 mengetikkan kata kunci pencarian, melakukan scrolling linimasa, mengekstrak hierarki teks postingan, nama akun (author), metrik interaksi (likes, comments, reposts), dan cap waktu.
2. Capture Bukti Frame-Buffer: Mengambil tangkapan layar langsung dari frame-buffer perangkat dan mengunggahnya ke MinIO S3 (social-evidence).
3. Direct Dual Sink (Tanpa Kafka):
   • PostgreSQL: Melakukan INSERT ... ON CONFLICT (id_post) DO UPDATE ke tabel postings dan post_author.
   • Elasticsearch: Melakukan indexing dokumen secara langsung ke indeks postings untuk visualisasi instan di dashboard.

4. Spesifikasi Payload Misi & Skema Penyimpanan

{
  "source_platform": "x_twitter",
  "scraped_at": "2026-10-06T20:15:00Z",
  "extracted_trend": {
    "raw_topic": "#KenaikanPajakDaerah",
    "rank": 2,
    "tweet_volume": 84200,
    "context_label": "Finance · Trending"
  },
  "ai_taxonomy_adjustment": {
    "is_strategic_issue": true,
    "pillar": "ekonomi",
    "category": "Kebijakan Fiskal & Pajak",
    "sub_category": "Pajak Daerah",
    "taxonomy_node_id": "8f3b9c10-21a4-4e9b-a311-92fbb08d1204",
    "relevance_score": 0.94,
    "sentiment_indication": "Negatif",
    "priority_level": "HIGH"
  }
}

5. Ringkasan Tanya Jawab Teknis Kunci (FAQ)

Q1: Mengapa ekstraksi awal trending topic difokuskan pada platform X (Twitter)?
Platform X merupakan saluran percakapan publik paling cepat merefleksikan isu yang sedang viral atau memanas di Indonesia (real-time pulse of public discourse). Dengan memanen tren X setiap 15 menit, sistem memperoleh kompas kata kunci teraktual untuk memandu pemanenan mendalam ke platform visual lainnya (Instagram, TikTok, Facebook).

Q2: Mengapa diperlukan proses AI untuk penyesuaian taksonomi pada topik trending?
Tagar dan kata kunci di media sosial sering kali berupa bahasa gaul, sarkasme, singkatan (acronyms), atau gabungan kata informal (misal: #KawalPutusanMK, TolakPajakNombok). Model AI menganalisis makna semantik dari frasa tersebut, menyaring topik hiburan yang tidak relevan, dan memetakannya secara presisi ke kategori serta pilar taksonomi resmi lembaga.

Q3: Mengapa tidak lagi menggunakan antrean Kafka queue-pf-keyword dan queue-pf-normalized?
Pemanenan berbasis cron 15 menit dengan database dispatcher menyederhanakan alur orkestrasi, mengurangi latensi serialisasi pesan antrean, dan memastikan bahwa hasil pemanenan postingan langsung tersedia secara instan (real-time direct sink) di PostgreSQL dan Elasticsearch tanpa antrean perantara.

Q4: Bagaimana cara mencegah tabrakan aplikasi saat 20 unit ponsel berganti target platform?
Fungsi launch_app_robust mengeksekusi am force-stop untuk mematikan paksa aplikasi sosial media lain pada ponsel sebelum membuka aplikasi target baru, disertai jeda waktu stabilisasi antarmuka 3.5 detik dan peredupan layar fisik (screen_brightness 0).