ホスト番号 11,000 あたりで、過去のあらゆる決断に本気で疑問を感じました。劇的な感じではなく、どちらかというと静かで具体的な不安です。成長し続けるデータセットと、おそらく 500 エントリ程度を想定した設計のスキーマで、自分自身を追い詰めてしまったことに気づいたときの、あの感じです。それが HostList でした。ウェブホストのディレクトリです。全部。または、私が入手できるだけ全部に近い形で。
実際に何が起きたのか、アーキテクチャの選択肢、データの悪夢、うまくいった瞬間、そして今日から始めるなら完全に違うやり方をするであろう部分、その全部をお話しするつもりです。
Webホスティングディレクトリが必要な理由
正直に言うと、ムカついたんです。Seahawk のあるクライアント、ホスト移行が必要だった中堅 SaaS 向けの調査をしていたんですが、完全で現在のものの両方を備えた単一のディレクトリが見つかりませんでした。ほとんどは、中立を装った薄っぺらなアフィリエイトページか、2017 年に消滅したホストがまだ掲載されている古いリストのどちらかでした。
ウェブホスティング業界には、数千のアクティブなプロバイダーがあります。数十ではなく。数千です。共有ホスト、管理されたWordPressホスト、VPSプロバイダー、ベアメタル専門家、聞いたことのない地域プレイヤー。誰もそれを正しくマップしていません。だから私は思いました：やります。6週間、私は自分に言いました。
6週間よりもかなり長くかかりました。
ただし市場がその本能を検証してくれました。ニッチなディレクトリが小規模でも何ができるか見てください。Soak Oregon、シンプルな温泉ディレクトリは、たった 25,000 の月間訪問者で月約 1,000 ドルの広告収益を稼いでいます。これはタイプミスではありません。25,000 訪問者です。よく絞られたディレクトリの経済学は、一般的なコンテンツサイトと大きく異なります。
誰も話さないデータ問題
ここがほとんどのディレクトリ構築ガイドが完全に役に立たないところです。カテゴリーとリスティングフィールドをセットアップするように言われます。いいでしょう。彼らが言わないことは、25,000の正確で構造化されたレコードを収集することは、まったく異なるクラスの問題だということです。
最初のアプローチは、週末に即席で組み立てたスクレイピングレイヤーのプラス手動調査でした。スクレイパーは問題ありませんでした。データはカオスでした。ホスティングプロバイダーは常に価格を変更します。3 つの異なるブランド名を持っているものもありました。リセラーのリセラーもいて、同じインフラストラクチャが 15 の異なるロゴを着ていました。重複排除だけで 3 週間かかりました。
もっと早く決めておきたかったいくつかのこと:
- ブランドごとではなく、法人ごとに1つの正規レコード。一部のホストには4つのブランドがあります。彼らはまだ1つのホストです。
- すべてのフィールドで鮮度の日付。行の「最終更新」だけではなく、フィールドごと。価格設定は機能セットより速く古くなります。
- 初日から人による審査キューを用意する。自動取り込みは初期段階には問題ない。しかしレコードが公開される前に不正確に見えるものにフラグを立てるプロセスが必要だ。
特に3番目のポイント。早期にそれをスキップして、ホストがプランをリブランドし、スクレイパーが古いページ構造で照合していたため、価格帯が完全に間違っているリスティングの塊になってしまいました。それを見つけるのに長時間かかりました。
正しいテックスタックの選択
私はWordPressを選びました。わかってます。でも聞いてください。
このスケールのディレクトリの場合、成熟したプラグインエコシステムと深く理解できるクエリレイヤーを備えたものが必要です。小規模なプロジェクトで Directorist を使用したことがあり、うまく機能しました。柔軟なスキーマ、Gutenberg で動作、理にかなったデフォルト。HostList 特有の場合は、カスタムポストタイプレイヤーをその上に組み合わせました。既製のプラグインが想定していないフィールドが必要だったためです（データセンターの場所、ピアリング構成、コントロールパネルのバージョンなど）。
実際に重要な 4 つのページ。そしてこれはニッチに関係なくあらゆるディレクトリに当てはまると思いますが、それは以下の通りです。
- 明確な目的、おすすめリスティング、そしてシンプルな検索を備えたホームページ
- 高速フィルタリング機能を備えたアーカイブ/ブラウズページ（ここはユーザーの80%が滞在する場所です）
- 完全なレコード、構造化データマークアップ、そして申し立て/報告する方法を備えた個別リスティング
- 投稿ページ（最初はユーザー投稿を行わない場合でも、準備ができた状態で構築してください）
アーカイブページの重要性は言うまでもない。ユーザーはホームページに来てから他のページに遷移するわけじゃない。Google からアーカイブページに直着して、4秒以内にそのデータが信頼できそうかどうかを判断します。アーカイブページを最初に完璧にしてください。
スタックについて変更したいこと
カスタムテーブル。コアリストングデータを post meta から適切なリレーショナルテーブルに移動する方が、もっと早い時点で移動するべきでした。WordPress post meta は約 5,000 レコードまで大丈夫です。それを超えると、クエリが苦しくなります。大規模なウェブアプリケーションのパフォーマンス考慮は現実的です。RAM、クエリ最適化、キャッシング戦略、これらは何も計画しないものです。物を立ち上げようとしているときは。
ディレクトリ自体のホスティング（本当に厄介）
ウェブホスティングディレクトリを構築してから、それをホストするホストを選択する必要があるという特別な皮肉があります。最初の1年で3つのホストを経験しました。
最初のものはマネージドWordPressホストで、名前は挙げないでおきます。インポート処理で失敗してしまいました。WP-CLIを介して25,000件の投稿を流し込むというのは、彼らのインフラストラクチャが対応するように設計されていなかったのです。2番目はVPSで、すべて自分で管理していました。リバースプロキシとしてのNginx、オブジェクトキャッシング用のRedis、ファイアウォール用のufw。そのセルフホスト型アーキテクチャは、あなたが何をしているかを理解していれば素晴らしく機能します。完全な可視性、謎めいたスロットリングはない、キャッシュヘッダーを自分で制御できる。しかし木曜の夜11時に何か壊れたら、それは全部あなたの問題です。
マネージド VPS にルートアクセス付きで着地しました。両方の最高です。Nginx をフロントに保ち、静的アセット用に CDN レイヤーを追加しました。それ以来、機能しています。
教訓：どのホストを選ぶにしても、コミットする前に実際のデータ量でテストすること。サンプルではなく。本当のインポート。500投稿のブログを難なく処理するホストが、データベースの再構築時に2万5000レコードを投げつけられると完全に機能停止することがある。
収益化: 試したこと、うまくいったこと
2019年、あるクライアントが私に言いました、「金はトラフィックではなく掲載にある」。その時は完全には理解していませんでした。今は理解しています。
Hostlist の収益はいくつかの場所から来ました。実際に針を動かしたものの大体の順序:
- 注目リスティング・プレミアムリスティング。ホストが関連カテゴリーページの上部に表示されるために料金を支払う。これは機能します。意図が高いため、CPMは良好です。
- 年次更新を伴う認証バッジ。フルプレミアムリスティングよりも軽めですが、積み重なります。
- ディスプレイ広告。これは後から追加したもので、かなり最も成績が悪いです。オーディエンスが小さすぎて、かつ特定分野に絞られているため、広告ネットワーク全般はそれを適切に評価できません。
- リード生成・アフィリエイト。ここではHostlistが他の偏ったすべての比較サイトのように見えてしまわないようにしたかったため、慎重でした。少数の紹介契約がありますが、開示されており制限されています。
やってないのは、無料の基本掲載と有料アップグレードを組み合わせたフリーミアムモデルです。考えたことはあります。ウェブホスティングの問題は、プラットフォームに載せる価値があるプロバイダー＝ディレクトリでの露出を本当は必要としていないプロバイダーだってことです。小規模なホストの方が掲載から利益を得られるけど、予算も一番小さい。経済学的に微妙です。
Brilliant Directoriesと同様のプラットフォームは、より地域密着型のディレクトリ、ウェディングベンダー、子育てリソースなどで、メンバーが本当にローカルで見つけられることを望む場所でこれを実現しています。ウェブホスティングは異なります。グローバルで超競争的な市場です。
大規模ディレクトリの SEO: 実際に役立ったポイント
25,000 のエントリーを持つディレクトリは、正しく処理すれば SEO アセットです。処理しなければ SEO 負債です。
実際に役立った具体的なこと:
- リスティングごとの独自のテンプレート化されたが可変のメタディスクリプション。単なるホスト名+「ウェブホスティングレビュー」ではありません。実際のデータポイント（価格帯、主な用途、創立年）を取得して、本当に異なるディスクリプションを生成しました。
- カテゴリーページとタグページには実際の編集コンテンツがあります。カードのグリッドだけではありません。「マネージドWordPressホスティング」が実際に何を意味するかを説明する200語の導入文があり、一度書いてそのカテゴリーに適用しました。Googleは誰かがそのページについて考えたことを示すのを見たいのです。
- 構造化データ（Schema.org）。すべてのリスティングには
LocalBusinessまたはOrganizationマークアップがあります。これを適切に追加した後、クリックスルーレートが目立って改善されました。 - フィルター組み合わせのCanonicals。これはほぼ私を殺しました。ファセット検索は数千のURL組み合わせを生成します。それらをクリーンアーカイブURLにCanonicalで返さないと、1ヶ月以内にクロールバジェットが破産してしまいます。
- アクティブなホストのみをインデックスしており、稼働確認できないものはすべてnoindexにしている。デッドリスティングはリスティングがないよりもダメージが大きい。
初期段階で間違えたこと：すべてを即座にインデックスしてしまった。ほぼデータのないスタブページも含めてだ。Googleがそれらをクロールして、薄いページを見つけ、しばらくの間ドメイン全体を部分的に低く評価した。教訓：インデックスする価値があるまでインデックスするな。
異なる方法でやること
いくつか、素早く:
- まず小さくて絞ったニッチから始めるべき。「ウェブホスティングディレクトリ」は巨大すぎる。「マネージドWordPress ホスト」で立ち上げるべきだった。300～400件程度でコンセプトを検証してから拡張するという手もあった。
- フロントエンドの前にデータパイプラインを作りましょう。僕は逆順でやった。インポートプロセスがちゃんと出来上がる前にフロントエンドがライブになったので、ずっとライブデータに対してパッチ当てしてました。
- 初日からリスティングに料金を請求してください。月 1 ポンドでも。無料リスティングはフォームを下手に記入し、更新リクエストに応じないホストを引き付けます。わずかな支払いは品質をフィルタリングします。
- 適切な貢献者システムにもっと早く投資してください。私が受け取った最高のデータ修正の一部は、エラーを見つけたユーザーからでした。最初の 8 か月間、それらを受け入れる構造化された方法がありませんでした。
正直なところ、HostList を構築することは、これまで手がけた側プロジェクトの中でも最も技術的におもしろく、最も謙虚にさせられたものだ。ディレクトリフォーマットは外から見ると信じられないほどシンプルに見える。
---
FAQ
Hostlistの構築にはどのくらい時間がかかりましたか？
最初のバージョン、粗くてデータギャップが満載だったが、ライブに持っていくまでに夜間とウィークエンドで3ヶ月ほどかかった。本当に誇れる状態に持っていくには1年近くかかった。データ品質の仕事は本当に終わらない。
ディレクトリ機能にはどのWordPressプラグインを使用しましたか？
ベースとしてDirectorist を使い、その上に相当な量のカスタム開発を施した。小規模なディレクトリであれば、ほぼそのまま使用できる。25,000件のエントリーになると、結局カスタムクエリを書く必要が出てくる。プラグインはあくまで出発点を与えるだけだ。
Webホスティングディレクトリは実際に収益を上げることができますか？
できます。私のものはコストをカバーしその先の収益をあげていますが、これがパッシブインカムマシンだと主張するつもりはありません。マージンは、プレミアムリスティングを売却できるかどうかに大きく依存します。適度なトラフィックレベルでは、ディスプレイ広告だけではそこまで到達できません。
25,000のリスティングを最新の状態に保つにはどうしますか？
不完全です。価格ページの変更をチェックするスケジュール済みスクレーパー、コミュニティ報告の修正キュー、トラフィック上位500のホストの手動レビューサイクルを組み合わせています。ロングテールは時間とともに劣化します。それは受け入れています。
最初のプロジェクトとして大規模なディレクトリを構築することをお勧めしますか？
いいえ。500件でやれることから始めてください。人がそれを使ってるの、それにマネタイズの道があるの、そこまで証明してから。その後でスケールしてください。大規模ディレクトリの技術とデータ管理の複雑さは本当に甘くない。その問題には、理念を検証した後で直面したい。前でじゃなくて。
---
ディレクトリについては、それは長期戦です。コンテンツサイトではなく、データ資産を構築しています。トラフィックはゆっくり成長し、仕事は地味で、最初の6ヶ月間は誰も気にしているのか疑問に思うでしょう。しかし、データが良く、ニッチが正しい場合、ディレクトリは他のフォーマットで複製するのが難しい一種の引力を開発します。それが私が引き続きそれらを構築する理由です。