Deepcrawl is now Lumar. Read more.
DeepcrawlはLumarになりました。 詳細はこちら

サイトマップのクロール中、2分後にGoogleがタイムアウトする

DeepCrawlのエンジニアは絶えずSEOに関する知識を構築・検証し、日々限界への挑戦を行なっています。この知見をみなさんに共有し、自社の戦略に適切に活かしていただけるように、DeepCrawlラボを組織してSEOに関する情報をご紹介していきます。

DeepCrawlのエンジニアは絶えずSEOに関する知識を構築・検証し、日々限界への挑戦を行なっています。この知見をみなさんに共有し、自社の戦略に適切に活かしていただけるように、DeepCrawlラボを組織してSEOに関する情報をご紹介していきます。

DeepCrawl Labs
 

検証

サイトマップの作成にはかなり時間がかかってしまう可能性があり、DeepCrawlはGoogleがサイトマップに対して異なるレスポンス時間でどのようにして反応していくのかを検証したいと思ってきました。

 

手法

Googleが忍耐強くレスポンスを待てるのかどうか確認するために、DeepCrawlチームは異なるレスポンス/ロード時間を持つXMLサイトマップを複数用意しました。これらの時間は100秒から350秒まで多岐にわたります。

 

検証結果

ロード時間が120秒までのサイトマップには問題はありませんでしたが、200秒を超えるものでインデックスされたものはありませんでした。

Sitemaps Load Time

120秒〜200秒の間の比較的遅いサイトマップの中にはタイムアウトエラーを起こしたものがありましたが、それらは後に送信されることでGoogleが受け入れてインデックスされたことも示しました。

Sitemaps Load Error
 

この検証結果が示すこと

ロード時間の長いサイトマップをクロールする際、クロールスピードが負の影響を与えることに気づきました。この結果から、DeepCrawlでは問題が発生しないようにサイトマップのロード時間は60秒にすることをおすすめしています。

また1つ大きなサイトマップを使うよりも、類似の小さなサイトマップを複数使う方がサイトマップのレスポンス時間を減らすことができるのでおすすめです。

これら対策をとってもまだサイトマップ作成に時間がかかるようであれば、定期的に事前作成しておいてサーバーでそれらをキャッシュ処理することもできます。

サイトマップ作成、監査の実行、その他詳細設定に関するヒントは、こちらのガイドをご覧ください。