Deepcrawl is now Lumar. Read more.
DeepcrawlはLumarになりました。 詳細はこちら

クロール制限を使用してクレジット使用量を削減する

サイトのURLがいくつもあったとしても、全てをクロールする必要があるとは限りません。これにはいくつかの理由があります。
ほとんどの方がクレジットを節約したい、またはクロールに費やす時間を減らしたいなどといった願望をお持ちなのではないでしょうか。サイトには低価値のURLが多数あり、SEOの向上に貢献しない可能性があることにご注意ください。このような場合、サイト全体をクロールしても同じ問題がより多く表示されるだけなので、フルクロールは冗長になります。または、膨大な数のサイトURLがあり、より小さく管理しやすいデータセグメントで作業したい場合はクロール設定のステップ3で”クロール制限”オプションを使用して、クロールを特定の数のURLまたはサイトの深さに制限することができます。
dc crawl limits overview
 

レベルごとのクロール

Webクロールは、リンクをたどってサイトのより深いレベルで新しいページを発見することによって機能します。まず最初のレベルは、デフォルトでベースドメインとして指定したURLになります。ただし、詳細設定の開始URLセクションに別のURLを追加することにより、開始点を変更できます。
dc2 start urls
最初のページで見つかったリンクはすべて追跡され、レベル2であると見なされ、これらのページから検出された新しいページは、レベル3であると見なされます。
 

これがクロール制限に与える影響とは

クロール制限セクションを使用すると、10個から最大300万個のURLの7つの標準オプションがあることがわかります。
URLの総数でクロールを制限できます。この場合、フルレベルごとにサイトをクロールする代わりに、入力したURLの総数をクロールします。
このレベルでクロールされなかった追加のURLは、レポートダッシュボードのクロールされていないURLセクションにクロール制限の制限されたURLとして再び表示されます。
 

カスタムクロール制限を使用する

特定の数のURLをクロールするために「カスタム」設定を使用することもできます。
dc custom limits
たとえば、252,222と入力すると、ツールはその数のURLを正確にクロールします。
 

一時停止またはファイナライズ

このセクションでは、クロールを完了するために制限が十分でない場合、または制限に達したときに”すぐに終了”を選択するとメールで通知を受け取ることもできます。”とにかく終了”を選択した場合、クロールは通常どおり自動的に完了します。
dc2 crawl limits whenlimitsreached