Bulknews::Subtech RSSフィード

2006/05/31 (水)

[Plagger] Parallel download with LWP::Parallel 22:24  [Plagger] Parallel download with LWP::Parallel - Bulknews::Subtech を含むブックマーク はてなブックマーク -  [Plagger] Parallel download with LWP::Parallel - Bulknews::Subtech

LWP::Parallel 版もつくってみた。LWP::Parallel::UserAgent のインタフェースが一番 FetchEnclosure の望んでいたものに近いので助かる。

http://plagger.org/trac/changeset/875

こちらの場合、concurrency (同時ダウンロード数), max_requests_per_host (同一ホストごとのリクエスト数) を LWP::Parallel でめんどうみてくれるのでより行儀がいい。ただエラーチェックはかなり適当なのと、レジュームには非対応。

[Plagger] Parallel downloading with Wget 22:04  [Plagger] Parallel downloading with Wget - Bulknews::Subtech を含むブックマーク はてなブックマーク -  [Plagger] Parallel downloading with Wget - Bulknews::Subtech

FetchEnclosure の Xango 対応を daisuke 氏と IM で。どうも PoCoClHTTP はレスポンスデータをオンメモリに詰め込んでしまうらしく、ビデオキャストのDLなんかには具合が悪い。

シンプルにwgetを使ってみてはどうだろうということで、FetchEnclosure::Wget をつくってみた。

http://plagger.org/trac/changeset/874

POE::Wheel::Run で fork して wait というシンプルなバージョンだけど、レジュームとかにも対応している(はず)。

本来やるべき concurrencyのチェックとかは(まだ)してない。ので、たくさんPodcastに subscribe してるとwget spawnしまくりでマシンが過負荷になるかもしれないのでご注意を。

この要領でcURLだとか、他のダウンロードツールに渡すサブクラスをつくっていくのはアリだな。(Firefox のダウンロードマネージャは外からURL渡せる?)

application/x-torrent なら Torrentと連携とかも面白い。

Trac SPAM 14:07  Trac SPAM - Bulknews::Subtech を含むブックマーク はてなブックマーク -  Trac SPAM - Bulknews::Subtech

sqlite> delete from ticket_change where author = "kkkkoaaa";
sqlite> update ticket set version = '', milestone = '' where version = 'HEAD' and milestone = 'Release 0.5';