Pipeline Data: articles (Master Berita Siber)

Pipeline ini bertanggung jawab untuk menghimpun, menyaring, membersihkan, dan memperkaya dokumen berita siber pada tabel PostgreSQL articles (sebagai Single Source of Truth OLTP) dan indeks Elasticsearch articles (sebagai mesin pencarian teks cepat dan agregasi visualisasi intelijen).

1. Ringkasan Arsitektur Alur

[taxonomy_keywords] (PostgreSQL: Kata Kunci Leksikon Aktif)
        │
        ▼ (Autonomous Ticker Loop: scrape_interval / default 1h)
[B1 - Autonomous Google News Scraper]
        │
        ├──────────────────────────────────────┐
        ▼                                      ▼
[MinIO: Raw S3 Storage]              [Auto-Discovery Targets]
(source/news.google.com/*.json)     (PostgreSQL: scraping_targets)
        │
        ▼ Antrian Kafka: queue-raw-data-site
[C1 - HTML Cleaner & Normalizer] ──► Antrian Kafka: queue-normalize-data
        │
        ▼
[C2 - Vector Deduplication] (Qdrant Cosine Similarity < 0.90)
        │
        ▼ (Artikel Unik) ──► Antrian Kafka: queue-ai-inference
[nexa-d1 - AI Worker] (SPOK, NER, Sentimen, Hierarki Polri via AIOS)
        │
        ├────────────────────────────────────┐
        ▼                                    ▼
[PostgreSQL: articles]             [Elasticsearch: articles]
(Master Transaksional)             (Pencarian Cepat & Dashboard)

2. Tahap 1: Pengambilan Berita Otonom & Auto-Discovery (B1)

Worker B1 Scraper Service menjalankan penjadwalan internal (autonomous ticker loop) secara berkala:

1. Sinkronisasi Kata Kunci Taksonomi Langsung dari Database: B1 mengeksekusi fungsi FetchActiveKeywords ke tabel taxonomy_keywords PostgreSQL untuk mengambil seluruh kata kunci leksikon aktif (L1–L5) lengkap dengan hierarki taksonomi (ancestry path).
2. Agregasi Feed Google News RSS: Untuk setiap kata kunci aktif, B1 menghubungi endpoint pencarian Google News RSS (https://news.google.com/rss/search?q={keyword}&hl=id&gl=ID&ceid=ID:id).
3. Penyaringan Lapis 1 (Jendela Waktu & Kuota Kandidat):
   • Hanya memproses berita yang dipublikasikan dalam 24 jam terakhir (dropped_older_24h).
   • Membatasi kuota evaluasi kandidat awal (default: 10 artikel per leksikon) untuk efisiensi komputasi.
4. Penyaringan Lapis 2 (Fetch Konten Penuh, Dedup, & Guardrail Karakter):
   • Menghubungi URL sumber berita asli untuk mengunduh konten teks lengkap.
   • Memverifikasi riwayat URL menggunakan mekanisme deduplikasi in-memory/Redis.
   • Menerapkan batas maksimal karakter (3.500 karakter); artikel investigasi atau agregasi yang melebihi batas ini dibuang (filtered_too_long) guna menjaga kualitas dan efisiensi inferensi model AI di hilir.
5. Penyimpanan Dokumen Mentah (MinIO) & Auto-Discovery Media:
   • Seluruh kumpulan artikel yang lolos disimpan ke bucket MinIO sebagai berkas JSON (source/news.google.com/{uuid}.json).
   • Setiap domain media baru yang berhasil dirayap otomatis didaftarkan ke tabel scraping_targets dengan status draf (is_active = false, org_type = 'unassigned') agar dapat dikurasi dan diverifikasi oleh admin melalui antarmuka frontend.
6. Publikasi Pointer ke Kafka: B1 menerbitkan event pointer berukuran ringan ke antrian queue-raw-data-site yang merujuk pada raw_ref MinIO.

3. Tahap 2: Pembersihan Teks & Normalisasi Waktu (C1)

Worker C1 Cleaner mengonsumsi pointer event dari queue-raw-data-site dan mengunduh berkas mentah dari MinIO:

• Pembersihan DOM & Boilerplate: Membuang elemen iklan, widget media sosial, navigasi, dan tracker JavaScript.
• Normalisasi Temporal: Mengonversi beragam format tanggal lokal media siber Indonesia ke format standar ISO-8601 UTC.
• Publikasi ke Hilir: Memancarkan teks berita bersih ke antrian Kafka queue-normalize-data.

4. Tahap 3: Deduplikasi Semantik Vektor (C2)

Worker C2 mengubah judul dan pembukaan berita menjadi representasi vektor numerik (embeddings) dan membandingkannya ke koleksi Qdrant Vector DB:

• Skor Kemiripan $\ge$ 0.90 (Duplikat / Sindikasi Portal): Ditolak dari proses inferensi AI untuk menghemat komputasi GPU/token, lalu dialihkan ke pencatatan klaster tren berita.
• Skor Kemiripan < 0.90 (Artikel Unik / Baru): Dipancarkan ke antrian Kafka queue-ai-inference untuk dianalisis oleh modul AI kognitif.

5. Tahap 4: Ekstraksi Kognitif & Dual-Sink Persistence (D1)

Worker nexa-d1 mengonsumsi event dari queue-ai-inference dan berkolaborasi dengan engine AIOS:

1. Ekstraksi Sintaksis SPOK: Mengidentifikasi Subjek, Predikat, Objek, dan Keterangan dari kalimat inti berita.
2. Polri Hierarchy Resolver: Memetakan entitas kepolisian yang disebut ke dalam hierarki resmi: Mabes Polri $\rightarrow$ Polda $\rightarrow$ Polres $\rightarrow$ Polsek.
3. Sentimen & Skor Risiko: Menentukan sentimen publik (Positif, Netral, Negatif) dan skor urgensi kamtibmas (Level 1–5).
4. Penyimpanan Ganda (Dual-Sink):
   • PostgreSQL (articles): Menyimpan relasi entitas, ID taksonomi, dan data transaksi relasional.
   • Elasticsearch (articles): Menyediakan pengindeksan teks penuh, pencarian cepat, serta agregasi data analitik pada dashboard pimpinan.

6. Spesifikasi Payload Transmisi Antar-Worker

Berikut adalah representasi skema payload data yang ditransmisikan pada setiap titik jabat tangan (handshake) antar-komponen:

{
  "topic": "queue-raw-data-site",
  "source_id": "news.google.com",
  "type": "berita",
  "external_id": "https://nasional.kompas.com/read/2026/10/15/sidak-beras-bulog",
  "keyword": "cadangan beras pemerintah",
  "keyword_id": "c7b76ff8-2641-4a77-9104-e6ca43eb76f7",
  "raw_ref": "source/news.google.com/fb712084-fe65-4f11-bc60-d88448634870.json",
  "trace_id": "a6ceb215372a0415381fcb95"
}