O Que Aprendi Construindo Hostlist: 25.000 Hosts Web

Em algum lugar próximo ao host número 11.000, eu genuinamente questionei cada decisão que já tinha tomado. Não de forma dramática — mais como o pavor tranquilo e específico de perceber que você se pintou em um canto com um dataset que continua crescendo e um schema projetado para talvez 500 entradas. Esse era Hostlist. Um diretório de hosts web. Todos eles, ou o mais perto disso que eu conseguisse chegar.

Vou contar o que realmente aconteceu — as escolhas de arquitetura, os pesadelos com dados, os momentos onde fez clique, e as partes que eu faria completamente diferente se começasse hoje.

Por Que um Diretório de Web Hosting

Honestamente? Fiquei irritado. Estava fazendo pesquisa para um cliente Seahawk — uma SaaS de médio porte que precisava migrar de hosts — e não conseguia encontrar um único diretório que fosse abrangente e atual. A maioria eram páginas afiliadas finas fingindo ser neutras, ou listas desatualizadas que ainda apresentavam hosts que tinham fechado em 2017.andcurrent. Most were either thin affiliate pages pretending to be neutral, or outdated lists that still featured hosts that had gone under in 2017.

A indústria de web hosting tem milhares de provedores ativos. Não dezenas. Milhares. Hosts compartilhados, hosts WordPress gerenciados, provedores VPS, especialistas em bare-metal, players regionais que você nunca ouviu falar. Ninguém tinha mapeado isso direito. Então pensei: vou fazer. Seis semanas, pensei comigo mesmo.

Levou consideravelmente mais do que seis semanas.

O mercado validou o instinto, ainda assim. Veja só o que diretórios de nicho conseguem fazer mesmo em escala modesta — Soak Oregon, um simples diretório de fontes termais, gera aproximadamente $1.000 por mês em receita de anúncios com apenas 25.000 visitantes mensais. Não é erro de digitação. 25.000 visitantes. A economia de um diretório bem direcionado é genuinamente diferente de um site de conteúdo geral.Soak Oregon, a simple hot springs directory, pulls roughly $1,000 a month in ad revenue on just 25,000 monthly visitors. That's not a typo. 25,000 visitors. The economics of a well-targeted directory are genuinely different from a general content site.

O Problema de Dados Que Ninguém Fala Sobre

É aqui que a maioria dos guias de construção de diretórios te deixa na mão completamente. Eles dirão para você configurar categorias e campos de listagem. Tudo bem. O que não dirão é que reunir 25.000 registros precisos e estruturados é um problema de uma classe totalmente diferente.

Minha primeira abordagem foi pesquisa manual mais uma camada de scraping que montei improvisadamente durante um fim de semana. O scraper funcionava. Os dados eram caos. Provedores de hospedagem mudam seus preços constantemente. Alguns tinham três nomes de marca diferentes. Alguns eram revendedores de revendedores — a mesma infraestrutura subjacente vestindo quinze logos diferentes. Apenas deduplicação me custou três semanas.datawas chaos. Hosting providers change their pricing constantly. Some had three different brand names. Some were resellers of resellers — the same underlying infrastructure wearing fifteen different logos. Deduplication alone cost me three weeks.

Algumas coisas que gostaria de ter decidido mais cedo:

• Um registro canônico por entidade legal, não por marca. Alguns hosts têm quatro marcas. Ainda são um host., not per brand. Some hosts have four brands. They're still one host.
• Data de atualização em cada campo. Não apenas "última atualização" na linha — por campo. Preços ficam obsoletos mais rápido que conjuntos de recursos.Not just "last updated" on the row — per field. Pricing goes stale faster than feature sets.
• Uma fila de revisão humana desde o primeiro dia. Ingestão automatizada funciona bem para primeira passagem. Mas você precisa de um processo para sinalizar registros que parecem errados antes de irem ao vivo.Automated ingestion is fine for first-pass. But you need a process for flagging records that look wrong before they go live.

Especialmente o terceiro ponto. Pulei isso no começo e acabei com um monte de listagens que tinham níveis de preço completamente errados porque um host tinha rebranded seus planos e o scraper tinha feito correspondência na estrutura da página antiga. Levei uma eternidade para encontrar.

Escolhendo a Stack de Tecnologia Certa

Optei por WordPress. Eu sei. Mas me ouça.

Para um diretório nessa escala, você quer algo com um ecossistema de plugins maduro e uma camada de query que você entenda profundamente. Eu tinha usado Directorist em projetos menores e funcionou bem — schema flexível, funciona com Gutenberg, padrões sensatos. Para HostList especificamente, emparelhei com uma camada de post type customizado por cima, porque eu precisava de campos que nenhum plugin pronto para usar antecipava (coisas como localizações de data-centre, arranjos de peering, versões de painel de controle).Directoriston smaller projects and it held up well — flexible schema, works with Gutenberg, sensible defaults. For Hostlist specifically I paired it with a custom post type layer on top, because I needed fields that no off-the-shelf plugin anticipated (things like data-centre locations, peering arrangements, control panel versions).

As quatro páginas que realmente importam — e eu diria que isso é verdade para qualquer diretório independente do nicho — são:

1. Homepage com propósito claro, listagens em destaque, e uma busca extremamente simples
2. Página de arquivo/navegação com filtragem rápida (é aqui que 80% dos seus usuários ficam)
3. Listagem individual com o registro completo, marcação de dados estruturados, e uma forma de reivindicar/reportar
4. Página de envio (mesmo que você não esteja fazendo envios de usuários inicialmente, construa pronto)

Não consigo enfatizar demais a página de arquivo. Usuários não vêm para sua homepage e depois navegam. Eles chegam em uma página de arquivo do Google e decidem em quatro segundos se os dados parecem confiáveis. Acerte essa página primeiro.thennavigate. They land on an archive page from Google and decide within four seconds whether the data looks credible. Get that page right first.

O Que Eu Mudaria Sobre a Stack

Tabelas customizadas. Eu deveria ter movido os dados principais de listagem do post meta para tabelas relacionais adequadas muito antes. WordPress post meta funciona bem até uns 5.000 registros. Depois disso, as queries ficam dolorosas. As considerações de performance para aplicações web em larga escala são reais — RAM, otimização de queries, estratégia de cache — nenhuma das quais você planeja quando está apenas tentando lançar a coisa.performance considerations for large-scale web applicationsare real — RAM, query optimisation, caching strategy — none of which you plan for when you're just trying to get the thing launched.

Hospedando o Diretório em Si (Genuinamente Desconfortável)

Há uma ironia particular em construir um diretório de hospedagem web e depois ter que escolher um host para ele. Passei por três hosts no primeiro ano.

O primeiro foi um host WordPress gerenciado que não vou nomear. Falhou no processo de importação — 25.000 posts entrando via WP-CLI não era algo que sua infraestrutura foi projetada para. O segundo foi uma VPS onde eu cuidei de tudo: Nginx como reverse proxy, Redis para object caching, ufw para firewall. Essa abordagem de arquitetura auto-hospedada funciona brilhantemente quando você sabe o que está fazendo — visibilidade total, sem throttling misterioso, você controla os cache headers. Mas é também 23h de uma quinta quando algo quebra e é inteiramente seu problema.That self-hosted architecture approach works brilliantly when you know what you're doing— total visibility, no mystery throttling, you control the cache headers. But it's also 11pm on a Thursday when something breaks and it's entirely your problem.

Acabei em uma VPS gerenciada com acesso root. O melhor dos dois mundos. Mantive Nginx na frente, adicionei uma camada CDN para os assets estáticos, e isso se sustenta desde então.

A lição: qualquer que seja o host que escolher, teste com seu volume de dados real antes de se comprometer. Não uma amostra. Sua importação de verdade. Um host que lida com um blog de 500 posts com facilidade às vezes desaba completamente quando você joga 25.000 registros em uma reconstrução de banco de dados.test it with your actual data volume before you commit. Not a sample. Your real import. A host that handles a 500-post blog with flying colours will sometimes completely fall over when you throw 25,000 records at it during a database rebuild.

Monetização: O Que Tentei, O Que Funcionou

Lá em 2019 um cliente uma vez me disse, "o dinheiro está na listagem, não no tráfego." Não entendi completamente na época. Entendo agora.

A receita do HostList veio de alguns lugares, em ordem aproximada do que realmente moveu a agulha:

• Listagens em destaque/premium — hosts pagam para aparecer no topo das páginas de categorias relevantes. Isso funciona. Os CPMs são bons porque a intenção é alta.— hosts pay to appear at the top of relevant category pages. This works. The CPMs are good because the intent is high.
• Badges de verificação com renovação anual — menos robusto que um anúncio premium completo, mas tudo se soma.— lighter-touch than a full premium listing, but it adds up.
• Publicidade em display — adicionei isso tarde e é de longe o pior desempenho. A audiência é muito pequena e específica demais para que redes de anúncios amplas a valorizem adequadamente.— I added this late and it's the weakest performer by quite a lot. The audience is too small and too specific for broad ad networks to value properly.
• Lead gen / afiliados — fui cauteloso aqui porque não queria que o HostList parecesse com qualquer outro site de comparação tendencioso. Tenho um pequeno número de arranjos de referência, mas são divulgados e limitados.— I was cautious here because I didn't want Hostlist to look like every other biased comparison site. I have a small number of referral arrangements but they're disclosed and limited.

O que não fiz foi um modelo freemium em que anúncios básicos são gratuitos e atualizações são pagas. Pensei sobre isso. O problema com hospedagem web especificamente é que os provedores que valem a pena ter em sua plataforma também são os menos propensos a precisar do seu diretório para exposição. Os hosts menores se beneficiam mais de serem listados, mas também são os que têm os orçamentos mais pequenos. A economia é desajustada.notdone is a freemium model where basic listings are free and upgrades are paid. I thought about it. The problem with web hosting specifically is that the providers worth having on your platform are also the ones least likely to need your directory for exposure. The smaller hosts benefit more from being listed, but they're also the ones with the smallest budgets. The economics are awkward.

Brilliant Directories e plataformas similares resolveram isso para diretórios mais orientados pela comunidade — fornecedores de casamento, recursos para pais — onde os membros realmente querem ser encontrados por locais. Hospedagem web é diferente. É um mercado global e hipercompetitivo.have this figured out for more community-oriented directories — wedding vendors, parenting resources — where the members genuinelywantto be found by locals. Web hosting is different. It's a global, hyper-competitive market.

SEO para um Diretório Grande: Os Bits Que Realmente Ajudaram

Um diretório com 25.000 entradas é um ativo de SEO se você o gerenciar bem. É uma responsabilidade de SEO se não fizer.

As coisas específicas que ajudaram:

1. Meta descriptions únicas, templadas mas variáveis por anúncio — não apenas o nome do host + "revisão de hospedagem web". Puxei pontos de dados reais (faixa de preço, caso de uso principal, ano de fundação) para gerar descriptions genuinamente diferentes.— not just the host name + "web hosting review". I pulled in actual data points (price tier, primary use case, founding year) to generate descriptions that were genuinely different.
2. Páginas de categoria e tag com conteúdo editorial real — não apenas um grid de cards. Uma introdução de 200 palavras explicando o que "hospedagem WordPress gerenciada" realmente significa, escrita uma vez, aplicada à categoria. Google quer ver que alguém pensou sobre a página.— not just a grid of cards. A 200-word intro explaining what "managed WordPress hosting" actually means, written once, applied to the category. Google wants to see that someone thought about the page.
3. Dados estruturados (Schema.org) — cada listagem tem marcação LocalBusiness ou Organization. As taxas de cliques melhoraram notavelmente depois que adicionei isso corretamente.— every listing hasLocalBusinessorOrganizationmarkup. Click-through rates improved noticeably after I added this properly.
4. Canonicals em combinações de filtros — isso quase me matou. A busca facetada gera milhares de combinações de URL. Se você não canonicalizar de volta para a URL do arquivo limpo, você ficará sem orçamento de rastreamento em um mês.— this nearly killed me. Faceted search generates thousands of URL combinations. If you don't canonical them back to the clean archive URL, you'll be crawl-budget bankrupt within a month.
5. Apenas listagens indexadas para hosts ativos — coloco noindex em qualquer coisa que eu não possa confirmar que ainda está funcionando. Listagens mortas são piores do que nenhuma listagem.— I noindex anything I can't confirm is still operating. Dead listings are worse than no listing.

A única coisa que errei no início: indexei tudo imediatamente. Incluindo stubs com quase nenhum dado. O Google rastreou, encontrou páginas finas, e descontou parcialmente o domínio inteiro por um tempo. Lição: não indexe até que valha a pena indexar.don't index it until it's worth indexing.

O que eu faria diferente

Algumas coisas, rapidamente:

• Comece com um nicho menor e mais fechado. "Diretório de web hosting" é enorme. Deveria ter lançado com "hosts WordPress gerenciados" — talvez 300-400 registros — provado o conceito, depois expandido.
• Construa o pipeline de dados antes do front end. Fiz ao contrário. O front end estava live antes de o processo de importação estar sólido, o que significava que eu estava constantemente corrigindo dados ao vivo.beforethe front end. I did it backwards. The front end was live before the import process was solid, which meant I was constantly patching live data.
• Cobre por listagens desde o primeiro dia. Mesmo £1/mês. Listagens grátis atraem hosts que preenchem o formulário mal e nunca respondem a pedidos de atualização. Um pequeno pagamento filtra pela qualidade.
• Invista em um sistema de contribuidor adequado mais cedo. Algumas das melhores correções de dados que recebi vieram de usuários que encontraram erros. Eu não tinha nenhuma forma estruturada de aceitar isso nos primeiros oito meses.

Honestamente, construir HostList foi um dos projetos paralelos mais interessantes tecnicamente que já trabalhei — e um dos mais humilhantes. O formato do diretório parece enganosamente simples vista de fora.

---

FAQ

Quanto tempo levou para construir HostList?

A primeira versão — bruta, cheia de lacunas de dados, mas ao vivo — levou cerca de três meses de noites e fins de semana. Levá-la a um estado do qual eu estava realmente orgulhoso levou perto de um ano. O trabalho de qualidade de dados nunca realmente para.

Qual plugin WordPress você usou para a funcionalidade do diretório?

Directorist como base, depois uma quantidade substancial de desenvolvimento customizado em cima. Para um diretório menor eu usaria mais ou menos do jeito que é. Com 25.000 entradas, você acabará precisando escrever queries customizadas de qualquer forma — o plugin apenas te dá um ponto de partida.

Um diretório de hospedagem web é realmente lucrativo?

Pode ser. O meu cobre seus custos e ganha além disso, mas não vou fingir que é uma máquina de renda passiva. As margens dependem muito de você conseguir vender listagens premium. Apenas anúncios display não vão te levar lá em níveis de tráfego moderados.

Como você mantém 25.000 listagens atualizadas?

Imperfectamente. Tenho uma combinação de scrapers agendados que verificam mudanças nas páginas de preços, uma fila de correções reportadas pela comunidade e um ciclo de revisão manual para os 500 hosts principais por tráfego. A cauda longa se degrada com o tempo. Aceitei isso.

Você recomendaria construir um grande diretório como primeiro projeto?

Não. Comece com algo que você consiga fazer em 500 registros. Prove que as pessoas usam e que há um caminho de monetização. Depois escale. A complexidade técnica e de gerenciamento de dados de um grande diretório é genuinamente não-trivial, e você quer encontrar esses problemas depois de validar a ideia, não antes.Thenscale. The technical and data-management complexity of a large directory is genuinely non-trivial, and you want to encounter those problems after you've validated the idea, not before.

---

A coisa sobre diretórios é que eles são um jogo de longo prazo. Você está construindo um ativo de dados, não um site de conteúdo. O tráfego cresce lentamente, o trabalho é ingrato, e pelos primeiros seis meses você vai se perguntar se alguém se importa. Mas quando os dados são bons e o nicho é certo, diretórios desenvolvem uma espécie de atração gravitacional que é difícil de replicar com qualquer outro formato. É por isso que continuo construindo-os.