テクニカルインフラストラクチャ
Robots.txt
robots.txtは、ウェブサイトのルートディレクトリに配置されるテキストファイルで、検索エンジンのクローラーがどのページやファイルをリクエストすることを許可または禁止するかを指示します。これは、ボットがサイトのインフラストラクチャとどのように対話するかを制御するための最初の防御線であり、クロールバジェットの最適化に役立ちます。
テクニカルインフラストラクチャ
SEO
クロール管理
ボットを最も重要なコンテンツに誘導する
Googleはあなたのサイトに限定された「クロールバジェット」を割り当てます。これは、ボットが1日にクロールするページ数です。ボットが管理パネル、重複する印刷用ページ、またはカート/チェックアウトURLのクロールに時間を浪費すると、貴重な翻訳された商品ページを見逃す可能性があります。robots.txtはボットに「/admin/に時間を浪費せず、代わりに/en/、/fr/、/de/に集中してください」と指示します。国際的なサイトの場合、言語の自動検出リダイレクトページ、APIエンドポイント、インデックス作成する必要のない技術的なURLのクロールを禁止する必要があります。ただし、言語ディレクトリを誤ってブロックしないでください。これは国際SEOをすべて台無しにする壊滅的な間違いです。
クロールアクセスを許可することと禁止すること
側面
なし
Robots.txtを使用
Allow (デフォルト)
ボットはすべてをクロールします：コンテンツ+技術ページ
重要でないページにクロール予算を浪費する
戦略的なDisallow
Disallow: /admin/, /cart/, /api/
インデックス可能なコンテンツにボットを集中させる
国際的な例
Allow: /en/, /fr/, /de/ (言語ディレクトリ)
Disallow: /lang-detect/ (技術的なリダイレクト)
重大な間違い
Disallow: /fr/ (フランス語サイトをブロック)
フランス語コンテンツはインデックスに登録されず - 大惨事
現実世界への影響
前
現在の方法
シナリオ
サイトにはrobots.txtがなく、ボットが10,000件のカートURLをクロールします
何が起こるか
クロール予算の無駄遣い、商品ページが遅くクロールされる
📉
ビジネスインパクト
新製品が検索に表示されるまでに数週間かかります
後
最適化されたソリューション
シナリオ
robots.txtを追加：Disallow /cart/, /checkout/, /api/
何が起こるか
ボットは製品ページと言語ページに100%集中します
📈
ビジネスインパクト
新製品は24時間以内にインデックス登録されます