Gungho::Component::RobotsMETA.ja - ページ内のRobotsMETAをパースする
components: - RobotsMETA
クローラーの動作を制御する情報はrobots.txtだけではなくページ内部のメタタグ にも記される事があります。このコンポーネントを組み込む事によって、このデータを 自動的にパースしHTTPレスポンス内のrobots_metaスロットに格納します。
この情報にアクセスするにはnotes()案数を使ってください：
my $meta = $response->notes('robots_meta');
$metaはHTML::RobotsMETA::Rulesオブジェクトが格納されています。
このコンポーネントを組み込んでも、metaタグを自動的に解釈してくれるものでは ありません。Handler等にこのタグをきちんと使用するかどうかのロジックを 組み込むのはアプリケーションの責任となります。
コンポーネントを初期化します。
Gungho::Component::Core::handle_response()オーバーライドします。
HTML::RobotsMETA
To install Gungho, copy and paste the appropriate command in to your terminal.
cpanm
cpanm Gungho
CPAN shell
perl -MCPAN -e shell install Gungho
For more information on module installation, please visit the detailed CPAN module installation guide.