クロール最適化の2つのポイント「頻度」と「深度」

SEO対策によりサイトにアクセス(PV)を集めるためには、

  1. クロール頻度と深度を増やす(クロール最適化)
  2. 正しくインデックスしてもらう(インデックス最適化)
  3. 高評価されるサイト・コンテンツを作成する

この3つの施策が必要だ。よくわからない方は、「SEO対策とは3つの施策でGoogleに高く評価されること」こちらから先に目を通した方が理解が深まる。

今回は、特に①のクロール頻度・深度を増やすこと、つまりクロール最適化について話を進めていく。

そもそも検索エンジンロボット(以下クローラーとする)が私たちのサイトにクロールしてこなければ、検索上位に表示されることはない。つまり、アクセス(PV)の集まらない、誰にも役に立たないものになってしまう。

仮に、そのサイトやコンテンツ内容が世界一のものであったとしても、クローラーにクロールされなければ存在しないのと同じだ。

では、どのようにクロール最適化を行っていけばいいのだろうか?

クロール最適化の2つのポイント

クロール最適化には次の2つのポイントがある。

  • クロール頻度
  • クロール深度

クロールとは、クローラーがインターネット上のサイトやブログの情報収集をすることだ。そのため、自サイトへのクロールを促す必要がある。

しかし、ただクロールされれば良いわけではない。なぜなら、クローラーは1度のクロールで、サイト内の情報を全て収集しているわけではないからだ。

何度もクロールされることで、やっと正確な情報を伝えることができるようになる。そこで重要になるのが、先ほどの2つのポイントだ。

クロール最適化①クロール頻度

まず第一に、クローラーが自サイトにクロールしにこなくては話にならない。つまり、クローラーに自サイトの存在を認知してもらうことだ。

しかし、認知されるだけでは正確な情報を伝えることができない。例えば、新しいコンテンツを100本追加したとしても、クローラーが回ってこなければその新しい情報は伝えられない。つまり、何度もクロールしてもらうことが重要になる。

新規で立ち上げたサイトの場合には、クロール頻度は特に重要になる。

では、どのようなルートでクローラーが自サイトに回ってくるのだろうか?それは、

  • XMLサイトマップ
  • 被リンク

この2つになる。

XMLサイトマップを検索エンジン(Google)送信する

1つ目がXMLサイトマップを検索エンジン(Google)に送信することだ。サイトマップとは、

サイト上のページや動画などのファイルについての情報や、各ファイルの関係を伝えるファイルです。

引用:Search Consoleヘルプ

つまり、XMLサイトマップとは自サイトの情報のことだ。これを検索エンジン(Google)に送信することにより、サイトマップの情報をもとにクローラーがまわってくるようになる。

子供が生まれた時に出す出生届のようなものだ。出生届を出すと保健所の看護師さんが自宅に訪問してくれたり、3ヶ月健診や予防接種の案内などが届く。

また、サイトの更新毎にXMLサイトマップを送信することで、最新の情報を取得してもらうこともできる。

このように、自サイトにクローラーが回ってくるためには、XMLサイトマップの送信は必須と言える。WordPressを利用しているのであれば、プラグインで簡単に設定することができる。

>>プラグインを使ったXMLサイトマップの作成と検索エンジン(Google)への送信方法

クロール頻度は操作できない

クロール頻度が重要であることはなんとなくわかってきたと思うが、残念ながらこちらからクロール頻度を操作することはできない。

なぜなら、どのサイトを、どれくらいの頻度で、どの情報までクロールするのかは、検索エンジンのアルゴリズムによってスケジューリングされているからだ。

つまり、サイトマップの送信は、クローラーに巡回してもらいやすくするための施策ということになる。あとは、結果を待つしか無い。

ただ、これだけではいつになったらクロールしてもらえるのかわからないので不安だ。また、ライバルとの差もつけられない。

そこで重要になってくるのが、被リンクだ。

被リンクでクローラーが巡回する

クロール頻度を改善する施策の2つ目が被リンクだ。もしかしたら、「被リンク=ブラックハットSEO」と頭に思い浮かんでいないだろうか?もしそうであれば、今回の内容は非常に重要だ。もちろん、ブラックハットSEOを勧める訳では無い。

そもそも被リンクとは、外部サイトなどから自サイトへの流入のことだ。

かつて、この被リンク数によりページランクが決定されていたため、自作自演で無意味なサイトを乱立させ被リンクを稼いだり、業者に金を払って被リンクを買うことがSEO対策とされていた。

知っているとは思うが、現在ではこうした手法は検索エンジン(Google)からペネルティを受ける対象となる。しかし、被リンク=ペナルティではない。

 Googlebot などのウェブクローラは、ページからページヘリンクをたどることによってウェブをクロールします。そのため、他のサイトからのリンクがないページは Google のクローラに検出されないことがあります。

引用:Search Consoleヘルプ

Googleはこのように述べている。つまり、悪質で意図的に操作された無意味な被リンクはペナルティの対象となるが、被リンク自体は今でも重要なSEO対策なのだ。

なぜなら、被リンクによって自サイトにクローラーが回ってくるからだ。逆に被リンクが無いと、クロール頻度は少なくなってしまう。

わかりやすく言えば、他サイトから自サイトに被リンクがある場合、その他サイトにクローラーが巡回すると、被リンクを辿って自サイトへもクローラーが回ってくるということだ。

被リンクが増えれば、クローラーが巡回する頻度が増えることは簡単に想像できるだろう。

SEO対策に不要なページはrobot.txtを設定してクロールをブロックする

ここまでは、クロールを促すための施策だったが、逆にクロールの必要がないページもある。こうしたページのクロールを防ぐことにより、クロールしてほしい重要なページへの巡回も促すことができるし、サイト評価の改善にも繋がる。このために行うのがrobot.txtだ。

robot.txtを設定すれば、指定したページへのクロールをブロックすることができる。(ただし、クロールのブロックを100%保証するものではない)

具体的には、オーガニック検索の結果に表示させる必要のないページをクロールさせない(インデックスさせない)ための施策になる。

例えば、以下のようなページだ。

  • コンタクトフォーム
  • アーカイブ(自動生成ページ)
  • タグ
  • 検索ページ
  • 404ページ

注意したいことは、検索結果に表示させる必要がないだけであって、サイトとしては必要なページも含まれている点だ。そこを間違えないようにしてほしい。

クロール最適化②クロール深度

ここまでの話は、クローラーに自サイトの存在を認知してもらいクロールを促すためのことだった。

次に重要になるのがサイト内のクロールだ。つまり、サイト内にある記事やコンテンツをどれだけクロールしてくれるかという問題だ。

つまり、サイト内をどこまで深くクロールしてもらえるか(=クロールされるページ数)が重要になるわけだ。

そして、数多くのページをクロールしてもらうためには、ディレクトリ構造が大切だと言われる。おろらく、ほとんどの方が耳にしているだろう。

しかし、安易にディレクトリ構造が重要だと認識してしまうと、サイトを作成していく上で非常に無駄な労力を消費してしまう可能性があるので注意していただきたい、

いったい何が言いたいのか、詳しく解説していく。

ディレクトリ構造は重要ではない?

ディレクトリ構造とは、ピラミッド型のサイト構造のことだ。

こうすることで、下層ページまでクロールしやすくなり、さらに各コンテンツの関連性や重要度がわかりやすくなるため、クローラーも情報収集がしやすくなる。

このように一般的には言われている。こうすればサイトも整理されていてクローラーが巡回しやすくなると言われれば、もっともだと感じる。

しかし、これは正確ではないようだ。

クローラーの巡回にはディレクトリ構造は不要

一般的にはディレクトリ構造にすることで、サイトの隅々までクロールしてもらいやすくなるなるため、SEO対策になると言われている。

ただし、正確に言えば、クローラーがサイト内を巡回するために細かいディレクトリ構造は必要無い。その理由が、Googleからも公式に発表されている。

数千以下の URL 数しか持たないサイトにおいては、ほとんどの場合、クロールは効率的に行われるでしょう。

引用:Google公式ブログ

つまり、アマゾンや楽天のような巨大サイトでなければ、クローラーが自サイトを深くクロールしてくれるかどうかを心配する必要が無いということだ。

クローラーはほとんどのサイトをクロールすることができる

つまり、良くも悪くもクローラーは私たちのサイトをしっかりチェックしているということだ。当然、評価されるべきサイトにとってはいいことだが、ペナルティを受けるようなサイトも見逃さないとも言える。

クロールバジェットという言葉も気にしない

また、SEO対策やクロール最適化について調べていくとクロールバジェットという言葉を聞くことがあるかもしれない。カタカナにされると、なんだか重要そうに聞こえてくるが、この考えも気にする必要はない。

バジェットとは予算という意味だ。クロールバジェットとは、サイトあたりのクロール予算ということになる。つまり、1つのサイト内をどこまでクロールするか(クロールできるページ数)ということだ。

しかし、1,000ページにも満たないサイトは心配する必要も無いことは、すでに理解されているだろう。

URLのディレクトリ階層もSEO対策にならない

一般的に、サイトのディレクトリ構造がSEO対策にも効果的だと言われているため、URLの階層にも注意している人が多いのでは無いだろうか。しかし、そのせいで無駄な時間を取られてしまっているかもしれない。

URLのディレクトリ階層とは、

seo-love.site/seo/
seo-love.site/seo/crawling
seo-love.site/seo/index
seo-love.site/seo/writing
seo-love.site/wordpress/
seo-love.site/wordpress/setting
seo-love.site/wordpress/plugin
seo-love.site/wordpress/theme

このように、URLでページの所属や階層を示すことを言う。もしこれに時間を割いているようであれば、以下の動画は必見だ。

Q:50,000ページ以上あるサイトのURLをディレクトリ構造に分類すれば、クロールやインデックスに影響しますか?

A:URLの分類を見ていません。URLに意味構造を持たせる必要もありません。

このように回答している、先ほどのようなURLのディレクトリ階層はクロール深度にも、その後のインデックスにも影響しない、つまり、SEOには影響しないということだ。

ただし、URLは適当に設定してもいいということではない。クロールという観点で見ると話が少しずれてしまうので、詳細は別にお伝えするが、クローラーが巡回するために、URLのディレクトリ階層は不要だということは知っておこう。

さらに言えば、URLのディレクトリ構造が浅いページの方がSEO効果が高いというのも間違った認識だ。後述するがGoogleはディレクトリ構造ではなく、リンク構造(リンク階層)を重要視している。

ディレクトリ構造はユーザービリティを高めるナビゲーションとして必要

ではディレクトリ構造は不要なのかと言えば、そんなことはない。ユーザビリティを高めるナビゲーションとして非常に重要な役割を持っている。

各コンテンツが無秩序に並んでいては、ユーザーの欲しい情報が見つからずユーザビリティが低いサイトになってしまう。

Googleも次のように言っている。

サイト全体という大きな視点から、そのページが どのような役割を果たしているのかについても、Googleは理解し たいと考えています。

引用:Google検索エンジン最適化スターターガイド

つまり、例えばWordPressであれば、カテゴリーを活用してサイトを整理することが重要になってくる。

リンク構造(内部リンク)が重要な要素

では、クローラーがサイト内をクロールするためには、XMLサイトマップを送信するだけでいいのだろうか?答えはNoだ。

なぜなら、クローラーはサイト内のリンク(内部リンク)を経由して巡回するからだ。つまり、リンク構造ができていなければ、クローラーはサイト内を巡ることができない。

そのため、サイト内をくまなくクロールできるようにするためには、全てのコンテンツがリンクで繋がっていることが必要になる。

結局、クローラーはインターネット上のリンクを経由してクロールしているということだ。

クロール最適化のためにはリンク(被リンク・内部リンク)構築が重要

今回の内容をまとめると、クロール最適化のためにはリンク構築が重要だということだ。

  1. XMLサイトマップや被リンクにより、クローラーが自サイトへ巡回すること
  2. 内部リンクにより、サイト内をクローラーが巡回すること

これが、SEO対策のためのクロール最適化と言える。

①については今回の記事でお伝えすることができたが、②の内部リンクについては、正しく理解することがSEO対策の結果を左右すると考えるため、別記事を用意して。こちらで詳しく確認してほしい。

>>内部リンクはクロール最適化・SEO対策にとって最重要

 

コメント