Download - 20141022 リサーチ向け・ブラウザだけでスクレイピング(浅野)
![Page 1: 20141022 リサーチ向け・ブラウザだけでスクレイピング(浅野)](https://reader034.vdocuments.mx/reader034/viewer/2022042514/558ec0d21a28ab29778b468c/html5/thumbnails/1.jpg)
リサーチ向け ブラウザだけでスクレイピング
第3回Webスクレイピング勉強会@東京 2014.10.26
浅野弘輔 (あさの ひろすけ)
http://twitter.com/hirosuke_asano
![Page 2: 20141022 リサーチ向け・ブラウザだけでスクレイピング(浅野)](https://reader034.vdocuments.mx/reader034/viewer/2022042514/558ec0d21a28ab29778b468c/html5/thumbnails/2.jpg)
自己紹介
![Page 3: 20141022 リサーチ向け・ブラウザだけでスクレイピング(浅野)](https://reader034.vdocuments.mx/reader034/viewer/2022042514/558ec0d21a28ab29778b468c/html5/thumbnails/3.jpg)
浅野 弘輔とは(自己紹介)
• 株式会社ホットリンク所属。
• ネット上のクチコミを大量に集めて分析するシステムの開発や、ソーシャルデータの活用の企画・研究をしています。
http://twitter.com/hirosuke_asano
http://www.hottolink.co.jp/
趣味:イラスト描き
自作のアイコン→
![Page 4: 20141022 リサーチ向け・ブラウザだけでスクレイピング(浅野)](https://reader034.vdocuments.mx/reader034/viewer/2022042514/558ec0d21a28ab29778b468c/html5/thumbnails/4.jpg)
リサーチでよくある風景
![Page 5: 20141022 リサーチ向け・ブラウザだけでスクレイピング(浅野)](https://reader034.vdocuments.mx/reader034/viewer/2022042514/558ec0d21a28ab29778b468c/html5/thumbnails/5.jpg)
「AKB総選挙ってやっているけど、 ちょっとメンバーの口コミ調べてみてくれる?」
「了解っス」
![Page 6: 20141022 リサーチ向け・ブラウザだけでスクレイピング(浅野)](https://reader034.vdocuments.mx/reader034/viewer/2022042514/558ec0d21a28ab29778b468c/html5/thumbnails/6.jpg)
「まずはメンバーのリスト作らないと・・・」
![Page 7: 20141022 リサーチ向け・ブラウザだけでスクレイピング(浅野)](https://reader034.vdocuments.mx/reader034/viewer/2022042514/558ec0d21a28ab29778b468c/html5/thumbnails/7.jpg)
「多いな・・・」
公式サイトから
![Page 8: 20141022 リサーチ向け・ブラウザだけでスクレイピング(浅野)](https://reader034.vdocuments.mx/reader034/viewer/2022042514/558ec0d21a28ab29778b468c/html5/thumbnails/8.jpg)
「せっせ、せっせ・・・」
カチ
カチ
コピペ
![Page 9: 20141022 リサーチ向け・ブラウザだけでスクレイピング(浅野)](https://reader034.vdocuments.mx/reader034/viewer/2022042514/558ec0d21a28ab29778b468c/html5/thumbnails/9.jpg)
そんな作業を救うのが Webスクレイピング
![Page 10: 20141022 リサーチ向け・ブラウザだけでスクレイピング(浅野)](https://reader034.vdocuments.mx/reader034/viewer/2022042514/558ec0d21a28ab29778b468c/html5/thumbnails/10.jpg)
そんな作業を救うのが Webスクレイピング
なのだが・・・
![Page 11: 20141022 リサーチ向け・ブラウザだけでスクレイピング(浅野)](https://reader034.vdocuments.mx/reader034/viewer/2022042514/558ec0d21a28ab29778b468c/html5/thumbnails/11.jpg)
開発環境のインストールしなきゃ・・・
モジュールの依存性が・・・
サイト構造解析が・・・
文字コードが・・・
![Page 12: 20141022 リサーチ向け・ブラウザだけでスクレイピング(浅野)](https://reader034.vdocuments.mx/reader034/viewer/2022042514/558ec0d21a28ab29778b468c/html5/thumbnails/12.jpg)
開発環境のインストールしなきゃ・・・
モジュールの依存性が・・・
サイト構造解析が・・・
文字コードが・・・
日常的にプログラミングしてない 人にはかなり敷居が高い・・・
![Page 13: 20141022 リサーチ向け・ブラウザだけでスクレイピング(浅野)](https://reader034.vdocuments.mx/reader034/viewer/2022042514/558ec0d21a28ab29778b468c/html5/thumbnails/13.jpg)
ブラウザがあれば なんとかなる
![Page 14: 20141022 リサーチ向け・ブラウザだけでスクレイピング(浅野)](https://reader034.vdocuments.mx/reader034/viewer/2022042514/558ec0d21a28ab29778b468c/html5/thumbnails/14.jpg)
用意するもの
FireQuery
テキストエディタ
Add-ons
![Page 15: 20141022 リサーチ向け・ブラウザだけでスクレイピング(浅野)](https://reader034.vdocuments.mx/reader034/viewer/2022042514/558ec0d21a28ab29778b468c/html5/thumbnails/15.jpg)
実演
![Page 16: 20141022 リサーチ向け・ブラウザだけでスクレイピング(浅野)](https://reader034.vdocuments.mx/reader034/viewer/2022042514/558ec0d21a28ab29778b468c/html5/thumbnails/16.jpg)
一回やればいい アドホックなリスト作成に
最適
![Page 17: 20141022 リサーチ向け・ブラウザだけでスクレイピング(浅野)](https://reader034.vdocuments.mx/reader034/viewer/2022042514/558ec0d21a28ab29778b468c/html5/thumbnails/17.jpg)
その他の利点
![Page 18: 20141022 リサーチ向け・ブラウザだけでスクレイピング(浅野)](https://reader034.vdocuments.mx/reader034/viewer/2022042514/558ec0d21a28ab29778b468c/html5/thumbnails/18.jpg)
Ajaxで要素が 読み込まれるページ
HTMLをwgetしてテキスト解析・・・ができない
![Page 19: 20141022 リサーチ向け・ブラウザだけでスクレイピング(浅野)](https://reader034.vdocuments.mx/reader034/viewer/2022042514/558ec0d21a28ab29778b468c/html5/thumbnails/19.jpg)
認証があるページ
APIでも用意されてないと自動するのが難しい
![Page 20: 20141022 リサーチ向け・ブラウザだけでスクレイピング(浅野)](https://reader034.vdocuments.mx/reader034/viewer/2022042514/558ec0d21a28ab29778b468c/html5/thumbnails/20.jpg)
実演
![Page 21: 20141022 リサーチ向け・ブラウザだけでスクレイピング(浅野)](https://reader034.vdocuments.mx/reader034/viewer/2022042514/558ec0d21a28ab29778b468c/html5/thumbnails/21.jpg)
Webスクレイピングの 民主化を
![Page 22: 20141022 リサーチ向け・ブラウザだけでスクレイピング(浅野)](https://reader034.vdocuments.mx/reader034/viewer/2022042514/558ec0d21a28ab29778b468c/html5/thumbnails/22.jpg)
勉強する必要のある知識
• Javascriptの基本的なプログラミング
• CSSのセレクタでのHTML要素指定
• みんな大好きjQuery
![Page 23: 20141022 リサーチ向け・ブラウザだけでスクレイピング(浅野)](https://reader034.vdocuments.mx/reader034/viewer/2022042514/558ec0d21a28ab29778b468c/html5/thumbnails/23.jpg)
勉強する必要のある知識
• Javascriptの基本的なプログラミング
• CSSのセレクタでのHTML要素指定
• みんな大好きjQuery
おせじにも簡単とは言えないけど、 アプリやシステム作るのに比べたら楽 「Excelでマクロ組めますよ」くらいのノリで
![Page 24: 20141022 リサーチ向け・ブラウザだけでスクレイピング(浅野)](https://reader034.vdocuments.mx/reader034/viewer/2022042514/558ec0d21a28ab29778b468c/html5/thumbnails/24.jpg)
Webスクレイピングを 一番必要としている人に
届けたい
![Page 25: 20141022 リサーチ向け・ブラウザだけでスクレイピング(浅野)](https://reader034.vdocuments.mx/reader034/viewer/2022042514/558ec0d21a28ab29778b468c/html5/thumbnails/25.jpg)
ありがとうございました