サイトマップのクロール中、2分後にGoogleがタイムアウトする

DeepCrawlのエンジニアは絶えずSEOに関する知識を構築・検証し、日々限界への挑戦を行なっています。この知見をみなさんに共有し、自社の戦略に適切に活かしていただけるように、DeepCrawlラボを組織してSEOに関する情報をご紹介していきます。

検証

サイトマップの作成にはかなり時間がかかってしまう可能性があり、DeepCrawlはGoogleがサイトマップに対して異なるレスポンス時間でどのようにして反応していくのかを検証したいと思ってきました。

手法

Googleが忍耐強くレスポンスを待てるのかどうか確認するために、DeepCrawlチームは異なるレスポンス/ロード時間を持つXMLサイトマップを複数用意しました。これらの時間は100秒から350秒まで多岐にわたります。

ロード時間が120秒までのサイトマップには問題はありませんでしたが、200秒を超えるものでインデックスされたものはありませんでした。

120秒〜200秒の間の比較的遅いサイトマップの中にはタイムアウトエラーを起こしたものがありましたが、それらは後に送信されることでGoogleが受け入れてインデックスされたことも示しました。

ロード時間の長いサイトマップをクロールする際、クロールスピードが負の影響を与えることに気づきました。この結果から、DeepCrawlでは問題が発生しないようにサイトマップのロード時間は60秒にすることをおすすめしています。

また１つ大きなサイトマップを使うよりも、類似の小さなサイトマップを複数使う方がサイトマップのレスポンス時間を減らすことができるのでおすすめです。

これら対策をとってもまだサイトマップ作成に時間がかかるようであれば、定期的に事前作成しておいてサーバーでそれらをキャッシュ処理することもできます。

サイトマップ作成、監査の実行、その他詳細設定に関するヒントは、こちらのガイドをご覧ください。