Ep 9: नए demand partner को सही तरीके से test करें

आपने एक bidder जोड़ा और revenue बढ़ गया। ये अभी सबूत नहीं है।

Holdout यानी traffic का एक random हिस्सा, जिसे बिना बदलाव के रखा जाता है, तुलना के लिए।

recipes.example पर, आप सोमवार को एक नया SSP चालू करते हैं, और revenue पाँच percent बढ़ जाता है। लेकिन holiday season अभी शुरू हुआ है, और एक recipe viral हो गई। आप bidder को calendar से अलग नहीं कर सकते। इसे सही तरीके से कीजिए। Visitors को random चुनिए। बीस percent को नया bidder मिलता है, अस्सी percent holdout हैं। दोनों groups एक जैसे दिनों से गुज़रते हैं। कम से कम दो पूरे हफ़्तों के बाद, हर हज़ार sessions पर site-wide revenue compare कीजिए, bidder का dashboard नहीं। मान लीजिए test group दस डॉलर तीस कमाता है, और holdout दस डॉलर। वो तीन percent ही असली lift है। Page speed भी check कीजिए, और rollout के बाद एक छोटा holdout रखिए।

अगले partner के live होने से पहले, split, dates और एक metric लिख लीजिए।

अगला episode, incremental बनाम cannibalised revenue.