=encoding UTF-8
=head1 NAME
Gungho::Component::RobotsMETA.ja - ページ内のRobotsMETAをパースする
=head1 SYNOPSIS
components:
- RobotsMETA
=head1 DESCRIPTION
クローラーの動作を制御する情報はrobots.txtだけではなくページ内部のメタタグ
にも記される事があります。このコンポーネントを組み込む事によって、このデータを
自動的にパースしHTTPレスポンス内のrobots_metaスロットに格納します。
この情報にアクセスするにはnotes()案数を使ってください:
my $meta = $response->notes('robots_meta');
$metaはHTML::RobotsMETA::Rulesオブジェクトが格納されています。
このコンポーネントを組み込んでも、metaタグを自動的に解釈してくれるものでは
ありません。Handler等にこのタグをきちんと使用するかどうかのロジックを
組み込むのはアプリケーションの責任となります。
=head1 METHODS
=head2 setup
コンポーネントを初期化します。
=head2 handle_response
Gungho::Component::Core::handle_response()オーバーライドします。
=head1 SEE ALSO
L<HTML::RobotsMETA|HTML::RobotsMETA>
=cut