クロールとは作成したホームページにヤフーはグーグルなどの検索エンジンが見に来る 事を言います。これに対してクローラーとはサイトにやってくる検索エンジンのロボット のことを指します。クロールされないと新規に作成したホームページは検索エンジンに キャッシュされず、新たに作ったページも追加されないので、ホームページの意味が なくなってしまいます。
クロールの頻度を上げるのに重要なのはこまめな更新作業です。作成したホームページ をほっておくとクロール頻度も落ちるといわれますし、キャッシュされてもタイムスタンプ の日付が古いのでSEO上よくないといわれています。ただホームページを大量に保有して いると更新作業も大変なので、RSS情報を自動で読みこんで毎日自動更新するように しているサイトもあります。
またメタタグでクローラーが来る頻度を指定することもできます。ただこちらは指定 したからといって必ずクローラーが作成したホームページに定期的にくるとは限りません。 実際は気休め程度になりますので、使用しなくてもよいです。ただRSSでの自動更新は ペナルティを食らう可能性があるので、使用はお勧めできません。
特に力を入れているサイトはトップページだけでも毎日更新しておくと検索エンジンの 評価も上がりやすくなります。また日記ページなどを追加してそこに１日数行でも書き込み を続けると内部リンクも増えるので、seo上有効になります。