Data Pipeline & Methods
Bagian ini menjelaskan bagaimana data dikumpulkan dan diolah. Bisnis di depan, teknis di sini.
🗺️ Gambaran Besar: Dari Mana Data Ini Berasal?
Portfolio ini tidak menggunakan dataset yang sudah jadi. Semua data dikumpulkan sendiri dari sumber publik, lalu diolah menjadi satu dataset terpadu.
📦 Sumber Data: Dari Mana & Kenapa?
Setiap sumber data dipilih karena alasan spesifik. Tidak ada data yang diambil "karena bisa" — semuanya menjawab kebutuhan analisis.
🔄 Pipeline: 4 Langkah dari Nol ke Dataset
Setiap script punya satu tugas. Jalankan berurutan = full pipeline dari scraping sampai data siap analisis.
01_scrape_locations.py02_scrape_details.py03_build_outlet_master.py04_generate_performance_data.py🔍 Detail: Scraping Google Maps
Scraping dilakukan dalam 2 tahap. Tahap 1 mengumpulkan daftar outlet, tahap 2 mengambil detail per outlet.
Kelengkapan Data (Completeness Rate)
Tidak semua field berhasil di-extract. Berikut tingkat kelengkapan per field:
⚠️ Kenapa review count 0%?
Google Maps tidak me-render jumlah review untuk listing bisnis franchise besar seperti Pizza Hut. Elemen HTML-nya ada, tapi isinya kosong. Ini bukan bug scraping — memang tidak tersedia.
📐 Haversine: Menghitung Jarak Antar Outlet
Kenapa perlu hitung jarak?
Kalau 2 outlet Pizza Hut terlalu dekat (< 2km), mereka saling "makan" pelanggan satu sama lain — ini disebut cannibalization. Outlet yang punya ≥3 neighbors dalam 2km berisiko tinggi.
Kenapa Haversine, bukan jarak biasa?
Bumi itu bulat. Jarak lurus (Euclidean) antara dua koordinat GPS tidak akurat. Haversine menghitung jarak di permukaan bola — hasilnya dalam kilometer, akurat untuk jarak pendek.
Threshold: 2km
Radius delivery standar PHD (Pizza Hut Delivery). Kalau ada outlet lain dalam radius ini, mereka bersaing untuk pelanggan yang sama.
import math
def haversine_km(lat1, lon1, lat2, lon2):
"""Hitung jarak (km) antara 2 koordinat GPS di permukaan Bumi."""
R = 6371 # radius Bumi dalam km
dlat = math.radians(lat2 - lat1)
dlon = math.radians(lon2 - lon1)
a = (math.sin(dlat/2)**2 +
math.cos(math.radians(lat1)) *
math.cos(math.radians(lat2)) *
math.sin(dlon/2)**2)
return R * 2 * math.asin(math.sqrt(a))
# Contoh: 2 outlet di Jakarta
# haversine_km(-6.175, 106.827, -6.200, 106.845)
# → ~3.2 km → TIDAK cannibalize (> 2km)💰 Keuangan: Derivasi dari IDX
PZZA melaporkan revenue dalam format TTM (Trailing Twelve Months) — bukan per kuartal. Untuk mendapatkan revenue kuartal tunggal, perlu dihitung mundur:
🛠️ Tools & Stack
Setiap tool dipilih karena alasan spesifik — bukan karena populer.
♻️ Reproducible
Semua code di folder scripts/. Run 4 scripts berurutan = full pipeline dari scraping sampai data generation.
✅ Kenapa ini penting untuk portfolio?
Halaman ini menunjukkan bahwa data tidak "jatuh dari langit". Ada proses engineering yang jelas — collect, validate, transform, generate. Ini yang membedakan Senior DA dari Junior: bukan cuma bisa analisis, tapi juga bisa build pipeline-nya.