苔がキラリッ!」を運営している苔-こけ-(@mossflash2)です(^^ゞ
先日こんな記事をあげました。
2020年5月版：毎月新しいスキルを身につけるプロジェクト~Pythonでスクレイピングを修得~
2020年5月から毎月一つ新しいことに挑戦していく企画です。そんな5月のプロジェクトは 「Python でプログラミングスクレイピング」です。
Pythonとは? スクレイピングとは?と気になる方はぜひ上記の記事を見てみてください!!
まず結論から言うと、こんなことができました 。Web からタイトルと URL を取得
ベトナムのAmazonと言われる「Tiki」というショッピングサイトから商品名と価格をスクレイピングしてみました。
こちらの子供用紙おむつの販売ページに対して、、、
Google CoLaboratoryという、pythonのコードがWeb上で実行できるGoogle無料サービスを使い、コードをカキカキ。。。実際に自分で書けたコードがこちら。
そして、Tikiで表示されている「商品名」・「価格」をこんな感じでアウトプットされました!!
これ、延べ20日くらい、仕事終わりや早朝に時間を作って勉強・コーディングした成果です!!
できた時は、めちゃめちゃハッピーでした!!
参考にした書籍サービス
はじめてのPython の勉強に。
HTML と CSS デザインの為に。
特に学習の助けになったのは、 HTML と CSS デザインの本です
なぜかと言う、当初はPythonの勉強だけ必要だと思っていたのですが、勉強するにつれてスクレイピングには ウェブサイトを構成している言語（HTML と CSS） の知識が必要になることが分かったからです。
この本はイラストもあり、初心者の私にとっては重宝した一冊となりました。
分かりやすい図解が多く、全体をさらっと把握したり、巻末の索引で分からないコードを検索するとても便利でした。
Pythonでスクレイピング達成の為にやったこと。
書籍代を除き、基本的に無料で利用できるサービスを集中的に利用して Python の基礎力を鍛えました。このスクレイピングができるまでにやったことは、
- Python とGoogle Colabratoryの導入
- Progateで無料コースをもくもく勉強
- WebとYouTube でスクレイピング動画を勉強
- techgymでのオンライン講座受講(無料)
こんな感じです。
すごいなーと思ったのは、Zoomなどを使ってオンライン講座も受けられたこと。上記のtechgymというサイトの無料講座を土曜日を1日使って受講しました。
特に、実践するのに役立ったのは、WebやYoutubeのスクレイピングコードの情報です。
特に参考にしたのは、DAINOTEさんが公開しているPythonによるスクレイピング①入門編です。
その他にも行き詰ったら、本を開くかググるかでドンドン調べまくる。まさにググり力が必要というのも一理あるなと思いました。
まだまだブラッシュアップが必要なコトも見えてきた。
今回のチャレンジを振り返ってみると初心者レベルのスクレイピングまでは修得することができたと実感。
どういうことかと言うと、Web（HTML 構造)が難しいものであったり、日付の指定やカテゴリー指定などをする際に、さらに細かいコードを書く必要になる事が分かりました。
今後のPythonの習得に関しては、一旦スクレイピングから発展して、Pythonの強みであるデータ分析や機械学習にも手を出してみます。
まずは、Kaggleという世界最大の機械学習コンペティションサイトで有名な「住宅価格の予測問題」をチュートリアルを見つつ、挑戦してみたいと思っています。
まとめ 5月はプログラミング言語の習得でちょっと最先端の人間に近づけた気がした
昔からプログラミングにはちょっとした「あこがれ」があったのですが、このチャレンジでプログラミングの面白さや大変さに触れることができた1ヶ月でした。
Pythonをゴリゴリ進める為に、朝早起きしてPCを広げてキーボードを叩いたり、必要な情報をwordにまとめて自分だけのpython教本を作ったり、いつも以上に充実できた5月となったのです。
自分でも驚くぐらい精力的に取り組むことができました。（4月までのダラけた私は何だったんだ?!）
2020年6月は、何にチャレンジしようか考え中。
6月に入ったらまたみなさんに宣言した後でガッツリ取り組みます。
コメント