wgetをインストールした

Wget for Windows
http://gnuwin32.sourceforge.net/packages/wget.htm

Rubyによるクローラー開発技法』を参考書にしている。

あらかじめCドライブ直下に wget フォルダを新規作成した。インストールした。

C:\wget/bin/wget.exe という構成になった。

Pathを通す

Windwos8を使っているので、エクスプローラーの「PC」で右クリック→プロパティ→システムの詳細設定→環境変数→システム環境変数→Path→末尾に ;(セミコロン)を入力して、それ以降に C:\wget\bin と入力した。

実行

コマンドプロンプト → C:\wget\bin\wget.ext --version → 成功

そのあと wget http://yahoo.co.jp → 実行 → ヤフーのトップページがダウンロードできた。

村上春樹の質問サイトを全部ダウンロードしてやろうと思ってやってみた。アクセス攻撃にならないよう、3秒間隔で。

wget -r -l1 -w2 --random-wait http://www.welluneednt.com/

成功。どんどんダウンロードしてくれる。でもページ数が膨大だったので中断した。特にこだわりがない。書籍化するらしい。