लगभग host नंबर 11,000 के आसपास, मैंने गंभीरता से हर निर्णय पर सवाल उठाना शुरू कर दिया। नाटकीय तरीके से नहीं, बल्कि उस शांत, ठीक-ठीक डर के साथ कि तुमने अपने आप को एक कोने में पेंट कर दिया है—एक ऐसे डेटासेट के साथ जो बढ़ता ही रहता है, और एक schema जो शायद 500 entries के लिए ही डिज़ाइन किया गया था। वह HostList था। एक वेब होस्ट्स की डायरेक्टरी। सब कुछ, या जितना भी मैं जुटा सकता था।
मैं तुम्हें बताऊँगा कि वास्तव में क्या हुआ, architecture के विकल्प, डेटा की परेशानियाँ, वे लम्हे जहाँ चीज़ें समझ आईं, और वे हिस्से जो मैं अगर आज शुरू करता तो बिल्कुल अलग करता।
वेब होस्टिंग डायरेक्टरी क्यों
सच कहूँ तो मुझे झुंझलाहट हुई। मैं एक Seahawk क्लाइंट के लिए रिसर्च कर रहा था — एक mid-market SaaS जिसे होस्ट माइग्रेट करना था — और मुझे एक भी डायरेक्टरी नहीं मिली जो complete और current दोनों हो। ज्यादातर तो या तो पतले affiliate पेजेस थे जो neutral होने का नाटक कर रहे थे, या outdated लिस्ट्स थीं जिनमें अभी भी वे होस्ट्स फीचर किए गए थे जो 2017 में ही बंद हो गए थे।
वेब होस्टिंग industry में हजारों active providers हैं। दर्जनों नहीं। हजारों। Shared hosts, managed WordPress hosts, VPS providers, bare-metal specialists, regional players जिन्हें आपने कभी नहीं सुना। किसी ने इसे properly map नहीं किया था। तो मैंने सोचा: मैं करूँगा। छः हफ्ते, मैंने अपने आप से कहा।
इसमें छह हफ्तों से काफी ज्यादा समय लगा।
बाज़ार ने इस सोच को validate भी किया। देखो, niche directories यहाँ तक कि मामूली स्तर पर क्या कर सकते हैं—Soak Oregon, एक साधारण hot springs directory, तकरीबन 1,000 डॉलर महीने में ad revenue निकालती है, सिर्फ 25,000 monthly visitors पर। वह टाइपो नहीं है। 25,000 visitors। एक अच्छी तरह targeted directory की economics एक general content site से बिल्कुल अलग होती है।
डेटा समस्या जिसके बारे में कोई बात नहीं करता
यहीं पर अधिकांश डायरेक्टरी-बिल्डिंग गाइड आपको पूरी तरह निराश करती हैं। वे आपको कैटेगरीज और लिस्टिंग फील्ड्स सेट अप करने के लिए कहेंगे। ठीक है। वे आपको यह नहीं बताएंगे कि 25,000 सटीक, संरचित रिकॉर्ड एकत्र करना एक पूरी तरह से अलग समस्या है।
मेरा पहला तरीका manual research के साथ एक scraping layer था जिसे मैंने एक सप्ताहांत में जोड़ दिया था। scraper ठीक था। डेटा chaos था। Hosting providers अपनी pricing लगातार बदलते हैं। कुछ के पास तीन अलग-अलग brand names थे। कुछ resellers के resellers थे, वही underlying infrastructure जो पंद्रह अलग-अलग logos पहन रहा था। Deduplication अकेले तीन हफ्ते की जड़ खोद गई।
कुछ चीजें जिनके बारे में मैं चाहता था कि मैंने पहले ही फैसला कर लिया होता:
- प्रति कानूनी इकाई एक canonical रिकॉर्ड, प्रति ब्रांड नहीं। कुछ होस्ट्स के पास चार ब्रांड हैं। वे अभी भी एक ही होस्ट हैं।
- हर फील्ड पर freshness dating। सिर्फ row पर "last updated" नहीं, हर फील्ड पर। Pricing feature sets से तेज़ी से stale होता है।
- दिन एक से ही एक human review queue। Automated ingestion पहले pass के लिए ठीक है। लेकिन आपको ऐसे records को flag करने का एक process चाहिए जो गलत दिख रहे हों उससे पहले कि वो live हों।
विशेष रूप से तीसरा बिंदु। मैंने शुरुआत में इसे छोड़ दिया और एक chunk listing के साथ समाप्त हुआ जिसमें पूरी तरह से गलत कीमत tiers थे क्योंकि एक होस्ट ने अपनी योजनाओं को rebrand किया था और स्क्रेपर ने पुरानी पेज संरचना पर match किया था। इसे खोजने में मुझे बहुत समय लगा।
सही टेक स्टैक का चयन
मैं WordPress के साथ गया। मुझे पता है। लेकिन मेरी बात सुनो।
इस स्तर की directory के लिए, तुम्हें कुछ ऐसा चाहिए जिसका plugin ecosystem mature हो और जिसका query layer तुम गहराई से समझो। मैंने छोटे projects पर Directorist इस्तेमाल किया था और यह अच्छा चला था, flexible schema, Gutenberg के साथ काम करता है, समझदारी भरे defaults। HostList के लिए विशेष रूप से मैंने इसके ऊपर एक custom post type layer जोड़ दिया, क्योंकि मुझे ऐसे fields चाहिए थे जिनकी कोई भी off-the-shelf plugin ने कल्पना नहीं की थी (जैसे data-centre locations, peering arrangements, control panel versions)।
चार pages जो वास्तव में matter करते हैं, और मैं कहूँगा कि यह किसी भी niche की directory के लिए सच है:
- होमपेज स्पष्ट उद्देश्य के साथ, फीचर्ड लिस्टिंग्स, और एक बेहद सरल सर्च के साथ
- आर्काइव/ब्राउज़ पेज तेज़ फिल्टरिंग के साथ (यह वह जगह है जहां आपके 80% यूजर्स रहते हैं)
- सिंगल लिस्टिंग पूर्ण रिकॉर्ड के साथ, स्ट्रक्चर्ड डेटा मार्कअप, और क्लेम/रिपोर्ट करने का एक तरीका
- सबमिशन पेज (भले ही आप शुरुआत में यूजर सबमिशन नहीं कर रहे हों, इसे तैयार करके बनाएं)
मैं archive page को लेकर काफी जोर दे सकता हूँ। यूजर्स आपके homepage पर नहीं आते और फिर navigate नहीं करते। वे Google से एक archive page पर लैंड करते हैं और चार सेकंड में decide कर लेते हैं कि डेटा credible दिख रहा है या नहीं। उस page को पहले ही सही बनाएँ।
स्टैक के बारे में मैं क्या बदलूंगा
Custom tables। मुझे core listing data को post meta से निकालकर proper relational tables में जल्दी चले जाना चाहिए था। WordPress post meta शायद 5,000 records तक ठीक है। उससे आगे, queries दर्दनाक हो जाती हैं। बड़े-scale web applications के लिए performance के विचार वास्तविक होते हैं—RAM, query optimisation, caching strategy—कोई भी इनकी योजना नहीं बनाता जब तुम सिर्फ चीज़ को launch करने की कोशिश कर रहे होते हो।
डायरेक्टरी को होस्ट करना (वास्तव में अजीब)
एक वेब होस्टिंग डायरेक्टरी बनाने और फिर इसके लिए एक होस्ट चुनने में एक विशेष विडंबना है। मैंने पहले साल में तीन होस्ट्स का उपयोग किया।
पहला एक managed WordPress host था जिसका नाम मैं नहीं लूंगा। Import प्रक्रिया पर उसका दम घुट गया — WP-CLI के जरिए 25,000 posts आना उनके infrastructure के लिए डिज़ाइन ही नहीं किया गया था। दूसरा एक VPS था जहां मैंने सब कुछ खुद संभाला: reverse proxy के लिए Nginx, object caching के लिए Redis, firewall के लिए ufw। यह self-hosted architecture approach तब शानदार काम करता है जब आप जानते हों कि क्या कर रहे हैं — पूरी दृश्यता, कोई रहस्यमय throttling नहीं, cache headers पर आपका नियंत्रण। लेकिन यह भी है कि गुरुवार की रात 11 बजे कुछ टूट जाता है और वह पूरी तरह आपकी समस्या है।
मैं root एक्सेस के साथ एक managed VPS पर पहुंचा। दोनों का सर्वश्रेष्ठ। मैंने Nginx को सामने रखा, स्टेटिक एसेट्स के लिए एक CDN लेयर जोड़ा, और यह तब से चल रहा है।
सबक: चाहे आप जो भी host चुनो, अपने actual डेटा volume के साथ commit करने से पहले इसे test करो। Sample नहीं। आपका real import। एक host जो 500-post blog को flying colours के साथ handle करता है, कभी-कभी पूरी तरह से collapse हो जाता है जब आप 25,000 records को database rebuild के दौरान फेंकते हो।
मुद्रीकरण: मैंने क्या कोशिश की, क्या काम किया
2019 में एक ग्राहक ने मुझसे कहा था, "पैसा लिस्टिंग में है, ट्रैफिक में नहीं।" मैंने तब इसे पूरी तरह समझा नहीं। अब समझता हूं।
Hostlist की राजस्व कुछ जगहों से आई है, जो वास्तव में सुई हिलाई, उसके मोटे क्रम में:
- Featured/premium listings, hosts को relevant category pages के शीर्ष पर दिखाई देने के लिए भुगतान करना पड़ता है। यह काम करता है। CPMs अच्छे हैं क्योंकि intent high है।
- Verified badges annual renewal के साथ, full premium listing से हल्का-फुल्का, लेकिन कुल मिलाकर जुड़ जाता है।
- Display advertising, मैंने यह देर से जोड़ा और यह बहुत ही कमजोर performer है। Audience बहुत छोटी और बहुत specific है ताकि broad ad networks इसको सही तरीके से value दें।
- Lead gen / affiliate, मैं यहां सतर्क था क्योंकि मैं नहीं चाहता था कि Hostlist हर दूसरी biased comparison site जैसा दिखे। मेरे पास referral arrangements की एक छोटी संख्या है लेकिन वे disclosed और limited हैं।
जो मैंने नहीं किया वह एक freemium model है जहाँ basic listings free हों और upgrades paid हों। मैंने इस बारे में सोचा। Web hosting के साथ खास बात यह है कि जिन providers के लिए वाकई आपके platform पर होना काबिले-गौर है, वे भी exposure के लिए आपकी डायरेक्टरी की जरूरत महसूस करने से सबसे कम संभव हैं। छोटे hosts को listed होने से ज्यादा फायदा होता है, लेकिन वे ही सबसे छोटे budgets वाले होते हैं। Economics awkward हैं।
Brilliant Directories और similar platforms के पास यह community-oriented directories के लिए समझ है — wedding vendors, parenting resources, जहां members को genuinely locals के द्वारा खोजा जाना चाहते हैं। Web hosting अलग है। यह एक global, hyper-competitive market है।
एक बड़ी डायरेक्टरी के लिए SEO: जो बिट्स वास्तव में मदद करते हैं
25,000 प्रविष्टियों वाली एक डायरेक्टरी एक SEO संपत्ति है यदि आप इसे सही तरीके से संभालते हैं। यह एक SEO दायित्व है यदि आप नहीं करते।
विशिष्ट चीजें जो मदद करती हैं:
- Unique, templated लेकिन variable meta descriptions हर listing के लिए, सिर्फ host name + "web hosting review" नहीं। मैंने actual data points खींचे (price tier, primary use case, founding year) ऐसे descriptions generate करने के लिए जो genuinely अलग थे।
- Category और tag pages with real editorial content, सिर्फ cards की grid नहीं। एक 200-word intro explaining कि "managed WordPress hosting" actually क्या मतलब है, एक बार लिखा, category पर apply किया। Google देखना चाहता है कि किसी ने page के बारे में सोचा।
- Structured data (Schema.org), हर listing में
LocalBusinessयाOrganizationmarkup है। Click-through rates noticeably improve हुई जब मैंने यह properly add किया। - Canonicals filter combinations पर, यह लगभग मुझे मार ही डाला। Faceted search हजारों URL combinations generate करता है। अगर आप उन्हें clean archive URL पर canonical नहीं करते, तो आप एक महीने में crawl-budget bankrupt हो जाएंगे।
- केवल सक्रिय होस्ट के लिए इंडेक्सड लिस्टिंग, मैं जो कुछ भी कन्फर्म नहीं कर सकता कि अभी भी काम कर रहा है उसे noindex करता हूँ। डेड लिस्टिंग कोई लिस्टिंग न होने से भी बदतर होती है।
जो चीज़ मुझसे शुरुआत में गलत हुई: मैंने सब कुछ तुरंत इंडेक्स कर दिया। स्टब्स के साथ जिनके पास लगभग कोई डेटा नहीं था। गूगल ने उन्हें क्रॉल किया, पतले पेज पाए, और कुछ समय के लिए पूरे डोमेन को आंशिक रूप से डिसकाउंट कर दिया। सीख: इसे तब तक इंडेक्स न करें जब तक यह इंडेक्स करने लायक न हो।
मैं क्या अलग तरीके से करूंगा
कुछ चीजें, जल्दी से:
- पहले एक छोटे, ज्यादा टाइट निश आते हुए शुरू करो। "Web hosting directory" तो विशाल है। मुझे "managed WordPress hosts" से लॉन्च करना चाहिए था, शायद 300-400 रिकॉर्ड, कॉन्सेप्ट साबित करो, फिर विस्तार करो।
- Data pipeline को front end से पहले build करो। मैंने यह उल्टा किया। Front end live था import process के solid होने से पहले, जिसका मतलब था कि मैं हमेशा live data को patch कर रहा था।
- पहले दिन से लिस्टिंग के लिए शुल्क लें। यहां तक कि £1/month भी। निःशुल्क लिस्टिंग उन होस्ट को आकर्षित करती है जो फॉर्म को गलत तरीके से भरते हैं और update requests का कभी जवाब नहीं देते। एक छोटा सा भुगतान quality के लिए filter करता है।
- एक उचित contributor system में पहले निवेश करें। मेरे द्वारा प्राप्त सबसे अच्छे डेटा सुधार उन users से आए जिन्होंने errors देखे। मेरे पास पहले आठ महीनों के लिए उन्हें स्वीकार करने का कोई structured तरीका नहीं था।
ईमानदारी से कहूँ तो, HostList.io बनाना मेरे सबसे तकनीकी रूप से दिलचस्प साइड प्रोजेक्ट्स में से एक रहा है, और सबसे विनम्र भी। डायरेक्टरी फॉर्मेट बाहर से देखने में बेहद सरल लगता है।
---
FAQ
Hostlist बनाने में कितना समय लगा?
पहला वर्जन, कच्चा, डेटा की खामियों से भरा, लेकिन लाइव, करीब तीन महीने की शामें और सप्ताहांत लगा। इसे उस स्थिति में लाना जिसका मुझे सच में गर्व हो, करीब एक साल लगा। डेटा क्वालिटी का काम कभी सच में बंद होता ही नहीं।
आपने डायरेक्टरी कार्यक्षमता के लिए कौन सा WordPress प्लगइन उपयोग किया?
Directorist को बेस के रूप में, फिर उसके ऊपर काफी हद तक कस्टम डेवलपमेंट। एक छोटी डायरेक्टरी के लिए मैं इसे ज्यादा-कम ऐसे ही यूज़ करता। 25,000 एंट्रीज़ पर, तुम्हारे को आखिरकार कस्टम क्वेरीज़ लिखनी ही पड़ेंगी, प्लगइन तो सिर्फ शुरुआती बिंदु देता है।
क्या एक वेब होस्टिंग डायरेक्टरी वास्तव में लाभदायक है?
हो सकता है। मेरी अपनी लागतों को कवर करती है और उससे अधिक कमाती है, लेकिन मैं यह नाटक नहीं करूँगा कि यह एक निष्क्रिय आय मशीन है। मार्जिन काफी हद तक इस बात पर निर्भर करते हैं कि क्या आप प्रीमियम सूचियों को बेच सकते हैं। अकेले डिस्प्ले विज्ञापन मध्यम ट्रैफिक स्तरों पर आपको वहाँ नहीं लाएंगे।
आप 25,000 सूचियों को अपडेट कैसे रखते हैं?
अपूर्ण रूप से। मेरे पास scheduled scrapers का एक संयोजन है जो pricing page में बदलाव की जांच करते हैं, एक community-reported corrections queue है, और traffic के अनुसार top 500 hosts के लिए एक manual review cycle है। long tail समय के साथ degrade हो जाता है। मैंने इसे स्वीकार कर लिया है।
क्या आप पहली project के रूप में एक बड़ी directory बनाने की सिफारिश करेंगे?
नहीं। कुछ ऐसा शुरू करो जो तुम 500 records के साथ कर सको। साबित करो कि लोग इसे use करते हैं और कि monetisation का कोई path है। फिर scale करो। एक बड़ी डायरेक्टरी की technical और data-management complexity genuinely non-trivial है, और तुम इन problems का सामना उसके बाद करना चाहते हो जब तुमने idea को validate कर दिया हो, पहले नहीं।
---
Directories के बारे में बात यह है कि ये एक long game हैं। आप एक content site नहीं, एक data asset बना रहे हैं। Traffic धीरे-धीरे बढ़ता है, काम unglamorous है, और पहले छह महीने के लिए आप सोचेंगे कि किसी को परवाह है या नहीं। लेकिन जब data अच्छा हो और niche सही हो, तो directories एक तरह की gravitational pull develop करते हैं जो किसी अन्य format के साथ replicate करना कठिन है। इसलिए मैं उन्हें बनाते रहता हूं।