Search results for "dist:Gungho robots.txt"
Gungho::Component::RobotRules::Rule - robots.txtルール
特定のホストのrobots.txtルールを保存します。 POD ERRORS Hey! The above document had some coding errors, which are explained below: Around line 3: Non-ASCII character seen before =encoding in '特定のホストのrobots.txtルールを保存します。'. Assuming ISO8859-1...
DMAKI/Gungho-0.09008 - 28 Jul 2008 10:37:52 UTC
Gungho - Yet Another High Performance Web Crawler Framework
Gungho provides a complete out-of-the-box web crawler framework with high performance and great felxibility. Please note that Gungho is in beta. It has been stable for some time, but its internals may still change, including the API. Gungho comes wit...
DMAKI/Gungho-0.09008 - 28 Jul 2008 10:37:52 UTC
Gungho::Component::RobotRules::Storage.ja - robots.txtストレージ
DMAKI/Gungho-0.09008
-
28 Jul 2008 10:37:52 UTC
Gungho.ja - 高性能Webクローラーフレームワーク
Gunghoは高性能Webクローラーフレームワークです。高速なHTTP処理を行いつつ、 機能拡張をしやすいようフレキシブルな構造を目指して開発されています。 現在Gunghoはβ版です。機能的／仕様的にも比較的安定しつつありますが、まだ 内部的なAPI等は大幅な変更が加わる可能性がありますのでご注意ください。 Gunghoをインストールすると自動的に以下の機能が使えるようになります： イベント型非同期エンジン GunghoはPOE、Danga::Socket、IO::Async等をベースにした非...
DMAKI/Gungho-0.09008 - 28 Jul 2008 10:37:52 UTC
Gungho::Component::RobotRules.ja - robots.txtの処理を行う
Gungho::Component::RobotRulesはクローラーを書く以上必ず実装しなければならない robots.txtの処理を行うコンポーネントです。このコンポーネントを使用することに より、全てのリクエストに対しrobots.txtを適切に適応し、許可無くページを クロールすることを避けられます。 Gungho::Component::RobotRulesが組み込まれると、Gunghoに取得要求のあった全ての HTTPリクエストに対し、まずRobotRulesストレージから現在処理中...
DMAKI/Gungho-0.09008 - 28 Jul 2008 10:37:52 UTC
Gungho::Manual::Intro.ja - 高性能クローラーフレームワーク
Gunghoとは 一般的にWebクローラーは(1)ページを取得する (2)解析する を永続的に行う ものですが、この一連の動作の中にrobots.txtの処理やスロットリング等、 複数のクローラーを開発しているとその度に繰り返し実装し直す必要のある部品が 多々あります。 Gunghoはそれらの機能をなるべくフレームワーク側で吸収し、アプリケーション開発者 はクローラーの基本部品の事は考えずにそのアプリケーション独自の仕組みの開発に 専念できるよう開発されたWebクローラーフレームワークです。 0...
DMAKI/Gungho-0.09008 - 28 Jul 2008 10:37:52 UTC
Gungho::Component::RobotsMETA.ja - ページ内のRobotsMETAをパースする
クローラーの動作を制御する情報はrobots.txtだけではなくページ内部のメタタグ にも記される事があります。このコンポーネントを組み込む事によって、このデータを 自動的にパースしHTTPレスポンス内のrobots_metaスロットに格納します。 この情報にアクセスするにはnotes()案数を使ってください： my $meta = $response->notes('robots_meta'); $metaはHTML::RobotsMETA::Rulesオブジェクトが格納されています。 このコ...
DMAKI/Gungho-0.09008 - 28 Jul 2008 10:37:52 UTC
Gungho::Component::RobotRules::Storage - RobotRules Storage Base Class
DMAKI/Gungho-0.09008
-
28 Jul 2008 10:37:52 UTC
Gungho::Component::RobotRules::Storage::DB_File.ja - robots.txt情報をDB_Fileに格納する
DB_File形式のファイルにrobots.txt情報を保存します。 POD ERRORS Hey! The above document had some coding errors, which are explained below: Around line 3: Non-ASCII character seen before =encoding in 'DB_File形式のファイルにrobots.txt情報を保存します。'. Assuming ISO8859-1...
DMAKI/Gungho-0.09008 - 28 Jul 2008 10:37:52 UTC