2023年、Deepcrawl (現 Lumar) はマーケットを牽引する最新のウェブサイトクローラーをリリースしました。非レンダリングコンテンツに関しては1秒あたり450URL、JavaScriptレダリングコンテンツに関しては秒速350URLという、驚異的なクロールスピードを実現しています。

数千、数百万の単位のページを有するエンタープライズサイトにおいて、DeepCrawlの超高速クローラーを導入することで、SEOチーム、デジタルマーケティングチーム、ディベロッパーチームなどにとっては非常に大きく時間効率性を向上することができます。

こうした驚異的なクロールスピード以外にも、データ収集の面でさらなる柔軟性を確保したことも今回のプロダクトアップデートにおいて特筆すべき点です。サイトクロールにおいて取得できる情報は従来のテクニカルSEOが提供してきたデータを超えて拡大しており、DeepCrawlではそれに合わせてツール内で取得できる指標やレポートのオプションを拡大しています。現時点で、ユーザーの皆さんは250ものレポートにアクセスできるだけでなく、任意のサイトエレメントに関するデータを指定して取得するカスタム抽出を自在にデザインすることが可能になっています。データ収集における拡張性が向上したことで、DeepCrawlのクローラーが様々な事例で活用できるようになりました。最近リリースした GraphQL API でもディベロッパー向けに簡単な実装方法をご紹介していますのでご覧ください。

洗練されたクロールソフトウェアの重要性

クロールソフトウェアは SEOとウェブサイトインテリジェントプラットフォームにとって欠かせない要素となっています。クローラーは洗練されたサイト解析に必要となるローデータを取得するためにサイトをくまなくクロールし、サイトの技術的健全性やサーチパフォーマンスの最適化やその理解において不可欠な最初のステップとして機能します。

サイトクローラーに関する最新の開発状況

最新バージョンのクローラーは、マーケットにおける最も高速かつ計測可能性が高く、また拡張性の面でも最高のクオリティを提供するウェブサイトクローラーとなっています。今回のアップデートを要約すると、DeepCrawlのクローラーは次のような特徴を持つクローラーへと進化しました。

超高速のクロールスピード：世界最高レベルのサーバーレス構造を活用して、サイトクロールのスピードを劇的に改善し、デジタルマーケティングに必要な時間を大幅に削減することに貢献します。大規模なエンタープライズサイトを実際に解析した結果、非レンダリングページでは秒速450 URL、JSレンダリングページでは秒速350 URLというクロールスピードをマークしています。
最新のGoogleの検索行動との合致： 最新の検索エンジンの開発状況を正確に反映してできるだけ正確なクロールデータを提供できるように日々研究しています。最新のDeepCrawl（Lumar）のクローラーでは、Googleの検索エンジンの動きを更に正確に反映することが可能になっています。これによりユーザーの皆様に、検索エンジンがウェブサイト把握する動きを正確にご提供することができるようになりました。
レンダリングと解析機能の改善：新しいクローラーはGoogleno最新のレンダリングと解析エンジンを活用することで、レンダリングされたページを検索エンジンそのものが解析しているように分析することができるようになりました。すなわち、ユーザーの皆様は、レンダリングにおける問題点が、検索パフォーマンスにどういった影響をもたらすか正確に把握することが可能になったということです。
クロール拡張性のさらなる拡大： 今回のアップデートにより、データ取得の幅と柔軟性が飛躍的に向上し、これまでよりも正確なデータをサイトから獲得することが可能になりました。DeepCrawl（Lumar）以外のクローラーは特定のクエリをソフトウェア内にハードコードされたものであり、ユーザーがサイトのデータポイントから取得できるデータ量は限定的といえます。一方、DeepCrawl（Lumar）の最新のクローラーでは、カスタム抽出やAPIによって、クローラーの挙動を制限なく取得することが可能になっています。（この点に関しては、引き続きこの場で新しいレポートなどの機能実装のニュースをご確認ください）