Por volta do host número 11 mil, genuinamente questionei cada decisão que já tinha tomado. Não de forma dramática, mais como o medo silencioso e específico de perceber que você se pintou em um canto com um dataset que não para de crescer e um schema desenhado para talvez 500 registros. Esse era o HostList. Um diretório de hosts web. Todos eles, ou o mais próximo possível de todos.
Vou contar o que realmente aconteceu, as escolhas de arquitetura, os pesadelos de dados, os momentos em que tudo fez sentido, e as partes que eu faria completamente diferente se começasse hoje.
Por Que um Diretório de Web Hosting
Honestamente? Fiquei irritado. Eu estava fazendo pesquisa para um cliente da Seahawk Media, uma SaaS de médio porte que precisava migrar de hosts, e não conseguia encontrar um único diretório que fosse completo e atual. A maioria era ou páginas finas de afiliados fingindo ser neutras, ou listas desatualizadas que ainda apresentavam hosts que fecharam em 2017.
A indústria de web hosting tem milhares de provedores ativos. Não dezenas. Milhares. Hosts compartilhados, hosts WordPress gerenciados, provedores VPS, especialistas em bare-metal, players regionais que você nunca ouviu falar. Ninguém tinha mapeado isso direito. Então pensei: vou fazer. Seis semanas, pensei comigo mesmo.
Levou consideravelmente mais do que seis semanas.
O mercado validou o instinto, porém. Veja o que diretórios de nicho conseguem fazer mesmo em escala modesta: Soak Oregon, um simples diretório de fontes termais, puxa aproximadamente 1 mil dólares por mês em receita de anúncios com apenas 25 mil visitantes mensais. Isso não é typo. 25 mil visitantes. A economia de um diretório bem-direcionado é genuinamente diferente de um site de conteúdo geral.
O Problema de Dados Que Ninguém Fala Sobre
É aqui que a maioria dos guias de construção de diretórios te deixa na mão completamente. Eles dirão para você configurar categorias e campos de listagem. Tudo bem. O que não dirão é que reunir 25.000 registros precisos e estruturados é um problema de uma classe totalmente diferente.
Minha primeira abordagem foi pesquisa manual mais uma camada de scraping que montei durante um fim de semana. O scraper era ok. Os dados eram caos. Provedores de hosting mudam preços constantemente. Alguns tinham três nomes de marca diferentes. Alguns eram revendedores de revendedores, a mesma infraestrutura subjacente usando quinze logos diferentes. Só deduplicação me custou três semanas.
Algumas coisas que gostaria de ter decidido mais cedo:
- Um registro canônico por entidade legal, não por marca. Alguns hosts têm quatro marcas. Ainda são um host.
- Freshness dating em cada campo. Não só "última atualização" na linha, por campo. Preços ficam obsoletos mais rápido que conjuntos de features.
- Uma fila de revisão manual desde o primeiro dia. Ingestão automatizada é boa para o primeiro passo. Mas você precisa de um processo para sinalizar registros que parecem errados antes de serem publicados.
Especialmente o terceiro ponto. Pulei isso no começo e acabei com um monte de listagens que tinham níveis de preço completamente errados porque um host tinha rebranded seus planos e o scraper tinha feito correspondência na estrutura da página antiga. Levei uma eternidade para encontrar.
Escolhendo a Stack de Tecnologia Certa
Optei por WordPress. Eu sei. Mas me ouça.
Para um diretório nessa escala, você quer algo com um ecossistema de plugins maduro e uma camada de query que você entenda profundamente. Eu tinha usado Directorist em projetos menores e se comportou bem, schema flexível, funciona com Gutenberg, defaults sensatos. Para o HostList especificamente eu emparelhei com uma camada de custom post type por cima, porque eu precisava de campos que nenhum plugin pronto para usar antecipou (coisas como localizações de data-centre, peering arrangements, versões de control panel).
As quatro páginas que realmente importam, e eu diria que isso é verdade de qualquer diretório independente do nicho, são:
- Homepage com propósito claro, listagens em destaque, e uma busca extremamente simples
- Página de arquivo/navegação com filtragem rápida (é aqui que 80% dos seus usuários ficam)
- Listagem individual com o registro completo, marcação de dados estruturados, e uma forma de reivindicar/reportar
- Página de envio (mesmo que você não esteja fazendo envios de usuários inicialmente, construa pronto)
Não consigo enfatizar a página de arquivo o suficiente. Usuários não chegam na sua homepage e depois navegam. Eles caem numa página de arquivo vindo do Google e decidem em quatro segundos se os dados parecem confiáveis. Acerte essa página primeiro.
O Que Eu Mudaria Sobre a Stack
Custom tables. Eu deveria ter movido os dados principais de listagem para fora de post meta e para tabelas relacionais próprias muito mais cedo. WordPress post meta é ok até talvez 5 mil registros. Depois disso, as queries ficam dolorosas. As considerações de performance para aplicações web em larga escala são reais, RAM, query optimisation, estratégia de caching, nenhuma das quais você planeja quando você está apenas tentando lançar a coisa.
Hospedando o Diretório em Si (Genuinamente Desconfortável)
Há uma ironia particular em construir um diretório de hospedagem web e depois ter que escolher um host para ele. Passei por três hosts no primeiro ano.
O primeiro era um host WordPress gerenciado que não vou nomear. Ele falhou no processo de importação, 25 mil posts entrando via WP-CLI não era algo para o qual a infraestrutura deles foi projetada. O segundo era um VPS onde eu cuidava de tudo: Nginx como reverse proxy, Redis para cache de objetos, ufw para firewall. Essa abordagem de arquitetura auto-hospedada funciona brilhantemente quando você sabe o que está fazendo, visibilidade total, sem throttling misterioso, você controla os headers de cache. Mas também são 23h numa quinta quando algo quebra e é inteiramente seu problema.
Acabei em uma VPS gerenciada com acesso root. O melhor dos dois mundos. Mantive Nginx na frente, adicionei uma camada CDN para os assets estáticos, e isso se sustenta desde então.
A lição: qualquer que seja o host que você escolha, teste-o com seu volume real de dados antes de se comprometer. Não uma amostra. Sua importação real. Um host que se comporta perfeitamente com um blog de 500 posts às vezes falha completamente quando você joga 25.000 registros nele durante uma reconstrução de banco de dados.
Monetização: O Que Tentei, O Que Funcionou
Lá em 2019 um cliente uma vez me disse, "o dinheiro está na listagem, não no tráfego." Não entendi completamente na época. Entendo agora.
A receita do HostList veio de alguns lugares, em ordem aproximada do que realmente moveu a agulha:
- Listagens em destaque/premium, hosts pagam para aparecer no topo das páginas de categoria relevantes. Isso funciona. Os CPMs são bons porque a intenção é alta.
- Badges verificados com renovação anual, menos pesado que uma listagem premium completa, mas acumula.
- Publicidade de display, adicionei isso tarde e é o desempenho mais fraco de longe. O público é pequeno demais e muito específico para redes de anúncios amplas valorizarem adequadamente.
- Lead gen / affiliate, fui cauteloso aqui porque não queria que o HostList parecesse como qualquer outro site de comparação enviesado. Tenho um pequeno número de arranjos de referência mas são divulgados e limitados.
O que eu não fiz foi um modelo freemium onde listagens básicas são gratuitas e upgrades são pagos. Pensei sobre isso. O problema com hospedagem web especificamente é que os provedores dignos de estar na sua plataforma são também aqueles menos propensos a precisar do seu diretório para exposição. Os hosts menores se beneficiam mais de serem listados, mas também são aqueles com os orçamentos menores. A economia é complicada.
Brilliant Directories e plataformas similares têm isso resolvido para diretórios mais orientados a comunidade, fornecedores de casamento, recursos para pais, onde os membros genuinamente querem ser encontrados por locais. Web hosting é diferente. É um mercado global, hiper-competitivo.
SEO para um Diretório Grande: Os Bits Que Realmente Ajudaram
Um diretório com 25.000 entradas é um ativo de SEO se você o gerenciar bem. É uma responsabilidade de SEO se não fizer.
As coisas específicas que ajudaram:
- Meta descriptions únicas, baseadas em template mas variáveis por listagem, não apenas o nome do host + "web hosting review". Puxei pontos de dados reais (faixa de preço, caso de uso primário, ano de fundação) para gerar descriptions que eram genuinamente diferentes.
- Páginas de categoria e tag com conteúdo editorial real, não apenas um grid de cards. Uma intro de 200 palavras explicando o que "managed WordPress hosting" realmente significa, escrita uma vez, aplicada à categoria. Google quer ver que alguém pensou sobre a página.
- Dados estruturados (Schema.org), toda listagem tem markup de LocalBusiness ou Organization. As taxas de clique melhoraram notavelmente depois que adicionei isso corretamente.
- Canonicals em combinações de filtro, isso quase me matou. Busca facetada gera milhares de combinações de URL. Se você não canonicalizar de volta para a URL de arquivo limpa, você estará falido em budget de rastreamento dentro de um mês.
- Listagens indexadas apenas para hosts ativos, faço noindex em qualquer coisa que não consiga confirmar que ainda está operando. Listagens mortas são piores que nenhuma listagem.
A única coisa que fiz errado no começo: indexei tudo imediatamente. Incluindo esboços com quase nenhum dado. O Google rastejou, encontrou páginas fracas, e parcialmente desconsiderou todo o domínio por um tempo. Lição: não indexe até que valha a pena indexar.
O que eu faria diferente
Algumas coisas, rapidamente:
- Comece com um nicho menor e mais focado. "Diretório de web hosting" é enorme. Deveria ter lançado com "hosts WordPress gerenciados", talvez 300-400 registros, provado o conceito, depois expandido.
- Construa o pipeline de dados antes do front-end. Fiz de trás para frente. O front-end estava ao vivo antes do processo de importação estar sólido, o que significava que estava constantemente consertando dados ao vivo.
- Cobre por listagens desde o primeiro dia. Mesmo £1/mês. Listagens grátis atraem hosts que preenchem o formulário mal e nunca respondem a pedidos de atualização. Um pequeno pagamento filtra pela qualidade.
- Invista em um sistema de contribuidor adequado mais cedo. Algumas das melhores correções de dados que recebi vieram de usuários que encontraram erros. Eu não tinha nenhuma forma estruturada de aceitar isso nos primeiros oito meses.
Honestamente, construir o HostList foi um dos projetos secundários mais interessantes tecnicamente que já trabalhei, e um dos mais humilhantes. O formato de diretório parece enganosamente simples por fora.
---
FAQ
Quanto tempo levou para construir HostList?
A primeira versão, áspera, cheia de lacunas nos dados, mas ao vivo, levou cerca de três meses de noites e fins de semana. Chegar a um estado que eu realmente ficasse orgulhoso levou perto de um ano. O trabalho de qualidade dos dados nunca realmente para.
Qual plugin WordPress você usou para a funcionalidade do diretório?
Directorist como base, depois uma quantidade substancial de desenvolvimento customizado por cima. Para um diretório menor eu usaria mais ou menos pronto. Com 25.000 entradas, eventualmente você vai precisar escrever queries customizadas mesmo assim, o plugin apenas te dá um ponto de partida.
Um diretório de hospedagem web é realmente lucrativo?
Pode ser. O meu cobre seus custos e ganha além disso, mas não vou fingir que é uma máquina de renda passiva. As margens dependem muito de você conseguir vender listagens premium. Apenas anúncios display não vão te levar lá em níveis de tráfego moderados.
Como você mantém 25.000 listagens atualizadas?
Imperfectamente. Tenho uma combinação de scrapers agendados que verificam mudanças nas páginas de preços, uma fila de correções reportadas pela comunidade e um ciclo de revisão manual para os 500 hosts principais por tráfego. A cauda longa se degrada com o tempo. Aceitei isso.
Você recomendaria construir um grande diretório como primeiro projeto?
Não. Comece com algo que você possa fazer em 500 registros. Prove que as pessoas usam e que há um caminho de monetização. Depois escale. A complexidade técnica e de gerenciamento de dados de um diretório grande é genuinamente não-trivial, e você quer encontrar esses problemas depois de ter validado a ideia, não antes.
---
A coisa sobre diretórios é que eles são um jogo de longo prazo. Você está construindo um ativo de dados, não um site de conteúdo. O tráfego cresce lentamente, o trabalho é ingrato, e pelos primeiros seis meses você vai se perguntar se alguém se importa. Mas quando os dados são bons e o nicho é certo, diretórios desenvolvem uma espécie de atração gravitacional que é difícil de replicar com qualquer outro formato. É por isso que continuo construindo-os.