NAME

Gungho::Manual::Intro.ja - 高性能クローラーフレームワーク

SYNOPSIS

  use Gungho;
  Gungho->run(\%config);

DESCRIPTION

Gunghoとは

一般的にWebクローラーは(1)ページを取得する (2)解析する を永続的に行う ものですが、この一連の動作の中にrobots.txtの処理やスロットリング等、 複数のクローラーを開発しているとその度に繰り返し実装し直す必要のある部品が 多々あります。

Gunghoはそれらの機能をなるべくフレームワーク側で吸収し、アプリケーション開発者 はクローラーの基本部品の事は考えずにそのアプリケーション独自の仕組みの開発に 専念できるよう開発されたWebクローラーフレームワークです。

0.09xxxバージョンでは基本機能はほぼかたまり、1.00000に向けてインターフェースや 細かいユーザビリティの面での改善を見据えて開発が進んでいます。

マニュアル

Basics

Gunghoについて、設計思想、基本的な構成等

Tutorial

簡単なクローラーの作成方法等、チュートリアル

FAQ

よくある質問等

TODO

これから開発が予定されている部品、機能。