होस्टलिस्ट बनाते हुए मैंने क्या सीखा: 25,000 वेब होस्ट्स

कहीं host नंबर 11,000 के आसपास, मैंने अपने हर फैसले पर सवाल उठाया। नाटकीय तरीके से नहीं — बल्कि इस शांत, खास डर की तरह कि आप ने खुद को एक corner में paint कर दिया है जहाँ डेटासेट बढ़ता जा रहा है और schema को शायद 500 entries के लिए ही design किया गया था। यही था होस्टलिस्ट। वेब होस्ट्स की एक डायरेक्टरी। सभी, या जितने सभी मैं get कर सकता था।

मैं आपको बताने जा रहा हूँ कि actually क्या हुआ — architecture choices, data nightmares, वह moments जहाँ सब समझ आया, और वह bits जिन्हें मैं अगर आज से शुरुआत करूँ तो बिल्कुल अलग तरीके से करूँगा।

वेब होस्टिंग डायरेक्टरी क्यों

ईमानदारी से कहूँ तो? मैं annoyed हो गया। मैं एक Seahawk client के लिए research कर रहा था — एक mid-market SaaS जिसे hosts migrate करने थे — और मुझे एक भी ऐसी डायरेक्टरी नहीं मिल सकी जो comprehensive और current दोनों हो। ज्यादातर तो या तो thin affiliate pages थीं जो neutral होने का नाटक कर रही थीं, या outdated lists थीं जिनमें अभी भी 2017 में बंद हो चुके hosts की सूची थी।andcurrent. Most were either thin affiliate pages pretending to be neutral, or outdated lists that still featured hosts that had gone under in 2017.

वेब होस्टिंग industry में हजारों active providers हैं। दर्जनों नहीं। हजारों। Shared hosts, managed WordPress hosts, VPS providers, bare-metal specialists, regional players जिन्हें आपने कभी नहीं सुना। किसी ने इसे properly map नहीं किया था। तो मैंने सोचा: मैं करूँगा। छः हफ्ते, मैंने अपने आप से कहा।

इसमें छह हफ्तों से काफी ज्यादा समय लगा।

बाजार ने इस सहज अनुभूति को मान्य कर दिया, हालांकि। देखें कि मामूली पैमाने पर भी निशे डायरेक्टरीज क्या कर सकती हैं — Soak Oregon, एक सरल हॉट स्प्रिंग्स डायरेक्टरी, महज 25,000 मासिक विज़िटर्स पर लगभग $1,000 प्रति माह विज्ञापन राजस्व खींचती है। यह कोई टाइपो नहीं है। 25,000 विज़िटर्स। एक अच्छी तरह से लक्षित डायरेक्टरी की अर्थव्यवस्था वास्तव में सामान्य कंटेंट साइट से बिल्कुल अलग है।Soak Oregon, a simple hot springs directory, pulls roughly $1,000 a month in ad revenue on just 25,000 monthly visitors. That's not a typo. 25,000 visitors. The economics of a well-targeted directory are genuinely different from a general content site.

डेटा समस्या जिसके बारे में कोई बात नहीं करता

यहीं पर अधिकांश डायरेक्टरी-बिल्डिंग गाइड आपको पूरी तरह निराश करती हैं। वे आपको कैटेगरीज और लिस्टिंग फील्ड्स सेट अप करने के लिए कहेंगे। ठीक है। वे आपको यह नहीं बताएंगे कि 25,000 सटीक, संरचित रिकॉर्ड एकत्र करना एक पूरी तरह से अलग समस्या है।

मेरा पहला दृष्टिकोण मैनुअल रिसर्च और एक स्क्रैपिंग लेयर था जो मैंने एक सप्ताहांत में लगाई। स्क्रेपर ठीक था। डेटा अराजकता था। होस्टिंग प्रदाता अपनी कीमतें लगातार बदलते हैं। कुछ के पास तीन अलग-अलग ब्रांड नाम थे। कुछ रिसेलर्स के रिसेलर थे — एक ही अंतर्निहित बुनियादी ढांचा पंद्रह अलग-अलग लोगो पहन रहा था। डीडुप्लिकेशन अकेले मुझे तीन हफ्तों का खर्च आया।datawas chaos. Hosting providers change their pricing constantly. Some had three different brand names. Some were resellers of resellers — the same underlying infrastructure wearing fifteen different logos. Deduplication alone cost me three weeks.

कुछ चीजें जिनके बारे में मैं चाहता था कि मैंने पहले ही फैसला कर लिया होता:

• प्रति कानूनी इकाई एक canonical रिकॉर्ड, प्रति ब्रांड नहीं। कुछ होस्ट्स के पास चार ब्रांड हैं। वे अभी भी एक ही होस्ट हैं।, not per brand. Some hosts have four brands. They're still one host.
• हर फील्ड पर freshness डेटिंग। केवल पंक्ति पर "last updated" नहीं — प्रति फील्ड। कीमतें फीचर सेट्स की तुलना में तेजी से पुरानी हो जाती हैं।Not just "last updated" on the row — per field. Pricing goes stale faster than feature sets.
• दिन एक से एक human review queue। स्वचालित ingestion पहले पास के लिए ठीक है। लेकिन आपको उन रिकॉर्ड्स को फ्लैग करने की एक प्रक्रिया की जरूरत है जो गलत दिखते हों इससे पहले कि वे live हों।Automated ingestion is fine for first-pass. But you need a process for flagging records that look wrong before they go live.

विशेष रूप से तीसरा बिंदु। मैंने शुरुआत में इसे छोड़ दिया और एक chunk listing के साथ समाप्त हुआ जिसमें पूरी तरह से गलत कीमत tiers थे क्योंकि एक होस्ट ने अपनी योजनाओं को rebrand किया था और स्क्रेपर ने पुरानी पेज संरचना पर match किया था। इसे खोजने में मुझे बहुत समय लगा।

सही टेक स्टैक का चयन

मैं WordPress के साथ गया। मुझे पता है। लेकिन मेरी बात सुनो।

इस स्तर की एक डायरेक्टरी के लिए, आप कुछ ऐसा चाहते हैं जिसमें एक परिपक्व प्लगइन इकोसिस्टम हो और एक क्वेरी लेयर हो जिसे आप गहराई से समझते हों। मैंने छोटे प्रोजेक्ट्स पर Directorist का उपयोग किया था और यह अच्छी तरह काम करता रहा — लचीला स्कीमा, Gutenberg के साथ काम करता है, समझदारीपूर्ण डिफ़ॉल्ट्स। Hostlist के लिए विशेष रूप से मैंने इसे एक कस्टम पोस्ट टाइप लेयर के साथ जोड़ा, क्योंकि मुझे ऐसे फील्ड्स की जरूरत थी जो किसी भी तैयार प्लगइन ने नहीं सोचे थे (डेटा-सेंटर लोकेशन, पीयरिंग अरेंजमेंट्स, कंट्रोल पैनल वर्जन जैसी चीजें)।Directoriston smaller projects and it held up well — flexible schema, works with Gutenberg, sensible defaults. For Hostlist specifically I paired it with a custom post type layer on top, because I needed fields that no off-the-shelf plugin anticipated (things like data-centre locations, peering arrangements, control panel versions).

चार पेज जो वास्तव में मायने रखते हैं — और मैं कहूंगा कि यह किसी भी डायरेक्टरी के लिए सच है चाहे कोई भी niche हो —

1. होमपेज स्पष्ट उद्देश्य के साथ, फीचर्ड लिस्टिंग्स, और एक बेहद सरल सर्च के साथ
2. आर्काइव/ब्राउज़ पेज तेज़ फिल्टरिंग के साथ (यह वह जगह है जहां आपके 80% यूजर्स रहते हैं)
3. सिंगल लिस्टिंग पूर्ण रिकॉर्ड के साथ, स्ट्रक्चर्ड डेटा मार्कअप, और क्लेम/रिपोर्ट करने का एक तरीका
4. सबमिशन पेज (भले ही आप शुरुआत में यूजर सबमिशन नहीं कर रहे हों, इसे तैयार करके बनाएं)

मैं आर्काइव पेज पर पर्याप्त जोर नहीं दे सकता। यूजर्स आपके होमपेज पर नहीं आते और फिर नेविगेट करते हैं। वे Google से एक आर्काइव पेज पर लैंड करते हैं और चार सेकंड के भीतर तय करते हैं कि डेटा विश्वसनीय दिख रहा है या नहीं। पहले वह पेज सही करो।thennavigate. They land on an archive page from Google and decide within four seconds whether the data looks credible. Get that page right first.

स्टैक के बारे में मैं क्या बदलूंगा

कस्टम टेबल्स। मुझे पोस्ट मेटा से कोर लिस्टिंग डेटा को बहुत पहले ही उचित रिलेशनल टेबल्स में स्थानांतरित कर देना चाहिए था। WordPress पोस्ट मेटा शायद 5,000 रिकॉर्ड तक ठीक है। उसके बाद, क्वेरीज़ दर्दनाक हो जाती हैं। बड़े पैमाने पर वेब एप्लिकेशन के लिए प्रदर्शन संबंधी विचार वास्तविक हैं — RAM, क्वेरी ऑप्टिमाइज़ेशन, कैशिंग रणनीति — जिनमें से कोई भी आप योजना नहीं बनाते जब आप बस चीज़ को लॉन्च करने की कोशिश कर रहे हैं।performance considerations for large-scale web applicationsare real — RAM, query optimisation, caching strategy — none of which you plan for when you're just trying to get the thing launched.

डायरेक्टरी को होस्ट करना (वास्तव में अजीब)

एक वेब होस्टिंग डायरेक्टरी बनाने और फिर इसके लिए एक होस्ट चुनने में एक विशेष विडंबना है। मैंने पहले साल में तीन होस्ट्स का उपयोग किया।

पहला एक managed WordPress होस्ट था जिसका नाम मैं नहीं दूंगा। यह import प्रक्रिया पर चोक गया — 25,000 पोस्ट WP-CLI के माध्यम से जा रही थीं, जो उनके बुनियादी ढांचे के लिए डिज़ाइन नहीं था। दूसरा एक VPS था जहां मैंने सब कुछ स्वयं संभाला: Nginx रिवर्स प्रॉक्सी के रूप में, ऑब्जेक्ट कैशिंग के लिए Redis, फायरवॉल के लिए ufw। वह self-hosted आर्किटेक्चर दृष्टिकोण शानदार तरीके से काम करता है जब आप जानते हैं कि आप क्या कर रहे हैं — कुल दृश्यता, कोई रहस्य throttling नहीं, आप कैश हेडर को नियंत्रित करते हैं। लेकिन यह भी गुरुवार को रात 11 बजे है जब कुछ टूट जाता है और यह पूरी तरह से आपकी समस्या है।That self-hosted architecture approach works brilliantly when you know what you're doing— total visibility, no mystery throttling, you control the cache headers. But it's also 11pm on a Thursday when something breaks and it's entirely your problem.

मैं root एक्सेस के साथ एक managed VPS पर पहुंचा। दोनों का सर्वश्रेष्ठ। मैंने Nginx को सामने रखा, स्टेटिक एसेट्स के लिए एक CDN लेयर जोड़ा, और यह तब से चल रहा है।

सीख: जो भी होस्ट आप चुनते हैं, प्रतिबद्ध होने से पहले इसे अपने वास्तविक डेटा वॉल्यूम के साथ परीक्षण करें। नमूना नहीं। आपका असली import। एक होस्ट जो 500-पोस्ट ब्लॉग को शानदार तरीके से संभालता है, कभी-कभी 25,000 रिकॉर्ड को डेटाबेस रीबिल्ड के दौरान फेंकने पर पूरी तरह विफल हो जाता है।test it with your actual data volume before you commit. Not a sample. Your real import. A host that handles a 500-post blog with flying colours will sometimes completely fall over when you throw 25,000 records at it during a database rebuild.

मुद्रीकरण: मैंने क्या कोशिश की, क्या काम किया

2019 में एक ग्राहक ने मुझसे कहा था, "पैसा लिस्टिंग में है, ट्रैफिक में नहीं।" मैंने तब इसे पूरी तरह समझा नहीं। अब समझता हूं।

Hostlist की राजस्व कुछ जगहों से आई है, जो वास्तव में सुई हिलाई, उसके मोटे क्रम में:

• Featured/premium लिस्टिंग्स — होस्ट्स प्रासंगिक category पेजों के शीर्ष पर दिखाई देने के लिए भुगतान करते हैं। यह काम करता है। CPMs अच्छे हैं क्योंकि इरादा अधिक है।— hosts pay to appear at the top of relevant category pages. This works. The CPMs are good because the intent is high.
• वार्षिक नवीकरण के साथ सत्यापित बैज — पूर्ण प्रीमियम सूची की तुलना में हल्का-फुल्का, लेकिन यह जमा हो जाता है।— lighter-touch than a full premium listing, but it adds up.
• डिस्प्ले विज्ञापन — मैंने यह देर से जोड़ा और यह बहुत कमजोर प्रदर्शनकर्ता है। दर्शक बहुत छोटे और बहुत विशिष्ट हैं ताकि व्यापक विज्ञापन नेटवर्क इसे सही तरीके से मूल्य न दे सकें।— I added this late and it's the weakest performer by quite a lot. The audience is too small and too specific for broad ad networks to value properly.
• लीड जेन / affiliate — मैं यहाँ सावधान था क्योंकि मैं नहीं चाहता था कि Hostlist हर दूसरी पक्षपातपूर्ण तुलना साइट की तरह दिखे। मेरे पास कुछ referral व्यवस्थाएं हैं लेकिन वे प्रकट की गई हैं और सीमित हैं।— I was cautious here because I didn't want Hostlist to look like every other biased comparison site. I have a small number of referral arrangements but they're disclosed and limited.

जो मैंने नहीं किया वह एक freemium मॉडल है जहाँ बुनियादी सूचियाँ मुफ्त हैं और अपग्रेड भुगतान किए गए हैं। मैंने इसके बारे में सोचा। वेब होस्टिंग के साथ विशेष समस्या यह है कि आपके प्लेटफॉर्म पर रखने के लिए लायक प्रदाता भी वे हैं जिन्हें एक्सपोजर के लिए आपकी डायरेक्टरी की आवश्यकता होने की संभावना सबसे कम है। छोटे होस्ट को सूचीबद्ध होने से अधिक लाभ होता है, लेकिन वे भी सबसे छोटे बजट वाले होते हैं। अर्थशास्त्र अजीब है।notdone is a freemium model where basic listings are free and upgrades are paid. I thought about it. The problem with web hosting specifically is that the providers worth having on your platform are also the ones least likely to need your directory for exposure. The smaller hosts benefit more from being listed, but they're also the ones with the smallest budgets. The economics are awkward.

Brilliant Directories और इसी तरह के प्लेटफॉर्म्स के पास यह अधिक समुदाय-उन्मुख डायरेक्टरी के लिए है — विवाह विक्रेता, parenting संसाधन — जहाँ सदस्य वास्तव में स्थानीय लोगों द्वारा पाए जाना चाहते हैं। वेब होस्टिंग अलग है। यह एक वैश्विक, अति-प्रतिस्पर्धी बाजार है।have this figured out for more community-oriented directories — wedding vendors, parenting resources — where the members genuinelywantto be found by locals. Web hosting is different. It's a global, hyper-competitive market.

एक बड़ी डायरेक्टरी के लिए SEO: जो बिट्स वास्तव में मदद करते हैं

25,000 प्रविष्टियों वाली एक डायरेक्टरी एक SEO संपत्ति है यदि आप इसे सही तरीके से संभालते हैं। यह एक SEO दायित्व है यदि आप नहीं करते।

विशिष्ट चीजें जो मदद करती हैं:

1. प्रति सूची अद्वितीय, टेम्पलेट किए गए लेकिन परिवर्तनशील meta descriptions — केवल होस्ट नाम + "web hosting review" नहीं। मैंने वास्तविक डेटा बिंदु (मूल्य स्तर, प्राथमिक use case, स्थापना वर्ष) खींचे ताकि विवरण वास्तव में अलग हों।— not just the host name + "web hosting review". I pulled in actual data points (price tier, primary use case, founding year) to generate descriptions that were genuinely different.
2. श्रेणी और टैग पृष्ठ वास्तविक संपादकीय सामग्री के साथ — केवल कार्ड का एक ग्रिड नहीं। एक 200-शब्द intro जो समझाता है कि "managed WordPress hosting" वास्तव में क्या है, एक बार लिखा गया, श्रेणी पर लागू किया गया। Google यह देखना चाहता है कि किसी ने पृष्ठ के बारे में सोचा है।— not just a grid of cards. A 200-word intro explaining what "managed WordPress hosting" actually means, written once, applied to the category. Google wants to see that someone thought about the page.
3. संरचित डेटा (Schema.org) — हर लिस्टिंग में LocalBusiness या Organization मार्कअप है। जब मैंने इसे सही तरीके से जोड़ा तो क्लिक-थ्रू दरें काफी बेहतर हुईं।— every listing hasLocalBusinessorOrganizationmarkup. Click-through rates improved noticeably after I added this properly.
4. फ़िल्टर संयोजन पर Canonicals — यह लगभग मुझे खत्म कर देता। Faceted search हजारों URL संयोजन बनाता है। अगर आप उन्हें क्लीन आर्काइव URL पर canonical नहीं करते, तो आप एक महीने में crawl-budget दिवालिया हो जाएंगे।— this nearly killed me. Faceted search generates thousands of URL combinations. If you don't canonical them back to the clean archive URL, you'll be crawl-budget bankrupt within a month.
5. सक्रिय होस्ट के लिए केवल अनुक्रमित लिस्टिंग — मैं कुछ भी noindex करता हूं जो अभी भी काम कर रहा है या नहीं। मृत लिस्टिंग कोई लिस्टिंग न होने से भी बदतर हैं।— I noindex anything I can't confirm is still operating. Dead listings are worse than no listing.

एक चीज जो मैंने शुरुआत में गलत की: मैंने तुरंत सब कुछ इंडेक्स किया। लगभग कोई डेटा न होने वाले stubs सहित। Google ने उन्हें क्रॉल किया, thin pages पाए, और कुछ समय के लिए पूरे डोमेन को आंशिक रूप से discounted किया। सबक: इसे इंडेक्स न करें जब तक यह इंडेक्स करने लायक न हो।don't index it until it's worth indexing.

मैं क्या अलग तरीके से करूंगा

कुछ चीजें, जल्दी से:

• पहले एक छोटी, कसी हुई niche के साथ शुरू करें। "Web hosting directory" विशाल है। मुझे "managed WordPress hosts" के साथ लॉन्च करना चाहिए था — शायद 300-400 रिकॉर्ड — concept साबित किया, फिर expanded किया।
• फ्रंट एंड से पहले डेटा पाइपलाइन बनाएं। मैंने यह उलटा किया। फ्रंट एंड live था import process solid होने से पहले, जिसका मतलब है कि मैं लगातार live data को पैच कर रहा था।beforethe front end. I did it backwards. The front end was live before the import process was solid, which meant I was constantly patching live data.
• पहले दिन से लिस्टिंग के लिए शुल्क लें। यहां तक कि £1/month भी। निःशुल्क लिस्टिंग उन होस्ट को आकर्षित करती है जो फॉर्म को गलत तरीके से भरते हैं और update requests का कभी जवाब नहीं देते। एक छोटा सा भुगतान quality के लिए filter करता है।
• एक उचित contributor system में पहले निवेश करें। मेरे द्वारा प्राप्त सबसे अच्छे डेटा सुधार उन users से आए जिन्होंने errors देखे। मेरे पास पहले आठ महीनों के लिए उन्हें स्वीकार करने का कोई structured तरीका नहीं था।

ईमानदारी से कहूँ तो, Hostlist को बनाना मेरे द्वारा किए गए सबसे तकनीकी रूप से दिलचस्प साइड प्रोजेक्ट्स में से एक रहा है — और सबसे विनम्र बनाने वाला भी। डायरेक्टरी फॉर्मेट बाहर से धोखाधड़ी से सरल दिखता है।

---

FAQ

Hostlist बनाने में कितना समय लगा?

पहला संस्करण — खुरदरा, डेटा अंतराल से भरा, लेकिन लाइव — को शामों और सप्ताहांत में लगभग तीन महीने का समय लगा। इसे एक ऐसी स्थिति में लाने के लिए जिस पर मुझे वास्तव में गर्व था, लगभग एक साल का समय लगा। डेटा गुणवत्ता का काम वास्तव में कभी नहीं रुकता।

आपने डायरेक्टरी कार्यक्षमता के लिए कौन सा WordPress प्लगइन उपयोग किया?

आधार के रूप में Directorist, फिर उसके ऊपर काफी मात्रा में कस्टम विकास। एक छोटी डायरेक्टरी के लिए मैं इसे कम या ज्यादा बॉक्स से बाहर निकाल कर उपयोग करूँगा। 25,000 प्रविष्टियों पर, आपको अंततः कस्टम क्वेरीज़ लिखनी होंगी — प्लगइन आपको बस एक शुरुआती बिंदु देता है।

क्या एक वेब होस्टिंग डायरेक्टरी वास्तव में लाभदायक है?

हो सकता है। मेरी अपनी लागतों को कवर करती है और उससे अधिक कमाती है, लेकिन मैं यह नाटक नहीं करूँगा कि यह एक निष्क्रिय आय मशीन है। मार्जिन काफी हद तक इस बात पर निर्भर करते हैं कि क्या आप प्रीमियम सूचियों को बेच सकते हैं। अकेले डिस्प्ले विज्ञापन मध्यम ट्रैफिक स्तरों पर आपको वहाँ नहीं लाएंगे।

आप 25,000 सूचियों को अपडेट कैसे रखते हैं?

अपूर्ण रूप से। मेरे पास scheduled scrapers का एक संयोजन है जो pricing page में बदलाव की जांच करते हैं, एक community-reported corrections queue है, और traffic के अनुसार top 500 hosts के लिए एक manual review cycle है। long tail समय के साथ degrade हो जाता है। मैंने इसे स्वीकार कर लिया है।

क्या आप पहली project के रूप में एक बड़ी directory बनाने की सिफारिश करेंगे?

नहीं। कुछ ऐसा शुरू करें जो आप 500 records में कर सकते हैं। सिद्ध करें कि लोग इसका उपयोग करते हैं और monetisation का एक path है। फिर scale करें। एक बड़ी directory की technical और data-management जटिलता genuinely non-trivial है, और आप इन समस्याओं का सामना करना चाहते हैं आइडिया को validate करने के बाद, पहले नहीं।Thenscale. The technical and data-management complexity of a large directory is genuinely non-trivial, and you want to encounter those problems after you've validated the idea, not before.

---

Directories के बारे में बात यह है कि ये एक long game हैं। आप एक content site नहीं, एक data asset बना रहे हैं। Traffic धीरे-धीरे बढ़ता है, काम unglamorous है, और पहले छह महीने के लिए आप सोचेंगे कि किसी को परवाह है या नहीं। लेकिन जब data अच्छा हो और niche सही हो, तो directories एक तरह की gravitational pull develop करते हैं जो किसी अन्य format के साथ replicate करना कठिन है। इसलिए मैं उन्हें बनाते रहता हूं।