mechanizeを使ったスクレイピングの学習をはじめる

参考書を読みながらだが、AmazonアソシエイトログインにおけるSSLエラーで手こずった。まだまだ理解できていない。

nokogiriで、requireに関するエラー（？）が出てしまう。(9857)｜teratail
https://teratail.com/questions/9857

それマグで！さんの情報に、とても、お世話になった。

wgetで取得できない場合どうするか？ユーザーエージェントやリファラーの設定

wget --referer=http://www.google.com/ -U "Mozilla/4.0 (compatible; MSIE 4.0; MSN 2.5; Windows 95)" [ダウンロード出来ないページのURL]

このコマンドで取得できた。要するにブラウザ以外のアクセスを弾いている設定なのだろう。そもそもクローラーでアクセスするなら利用するルールを守れってことだね。すみません気をつけます。

『Rubyによるクローラー開発技法』を参考書にしている。

あらかじめCドライブ直下に wget フォルダを新規作成した。インストールした。

C:\wget/bin/wget.exe という構成になった。

Windwos8を使っているので、エクスプローラーの「PC」で右クリック→プロパティ→システムの詳細設定→環境変数→システム環境変数→Path→末尾に ;（セミコロン）を入力して、それ以降に C:\wget\bin と入力した。

コマンドプロンプト → C:\wget\bin\wget.ext --version → 成功

そのあと wget http://yahoo.co.jp → 実行 → ヤフーのトップページがダウンロードできた。

村上春樹の質問サイトを全部ダウンロードしてやろうと思ってやってみた。アクセス攻撃にならないよう、3秒間隔で。

成功。どんどんダウンロードしてくれる。でもページ数が膨大だったので中断した。特にこだわりがない。書籍化するらしい。