wget --referer=http://www.google.com/ -U "Mozilla/4.0 (compatible; MSIE 4.0; MSN 2.5; Windows 95)" [ダウンロード出来ないページのURL] このコマンドで取得できた。要するにブラウザ以外のアクセスを弾いている設定なのだろう。そもそもクローラーでア…

Wget for Windowshttp://gnuwin32.sourceforge.net/packages/wget.htm 『Rubyによるクローラー開発技法』を参考書にしている。 あらかじめCドライブ直下に wget フォルダを新規作成した。インストールした。 C:\wget/bin/wget.exe という構成になった。 Path…