pythonスクレイピング本第一章読了

第一章ではプログラミング言語やライブラリを使わず、Unixコマンドのみでクローリング、スクレイピングを行った。

序盤は説明が多かったが、中盤からクローリングしたファイルから情報を抜き出すために正規表現を使用され、なかなか思いつかず苦労した。（泣）３０分ぐらい考えてやっと指定のデータを抜き出せたと思ったら本ではもっと短くわかりやすいコマンドを使っていたり・・・・。

つらいぜ。

勉強メモ

勉強メモ

卒開

Python、クローリング&スクレイピングを読みながら基礎を学んでいく。

wgetで技評社のページをダウンロードし、treeコマンドで表示するはずだったが、Ubuntuにはデフォルトでtreeコマンドが入っていないため、インストール。

ダウンロードしたファイルをtreeコマンドで表示、ファイル構造が分かりやすく表示された。

その後、Unixコマンドを使用して初めてスクレイピングを行った。以下使用したコマンド。

wget・・・HTTP通信やFTP通信を利用して、サーバーからファイルやコンテンツをダウンロードできるコマンド

cat・・・引数で与えたファイルの内容を出力

grep・・・引数で与えた文字列が含まれる行を表示

パイプ・・・あるコマンドの標準出力を別のコマンドの標準入力にする、正規表現を使えばさらに細かくできる

cut・・・特定文字で区切られた文字の抜き出す

sed・・・特定条件に当てはまる行を置換したり、削除したりできる

正規表現・・・特定パターンの文字列を表すための文字列表現、パターンを表すメタ文字と呼ばれる記号を使用する

ナポレオン・・・・・

宝具が沖田オルタと同じような演出だからなんかびげふんげふん

就活

就活中です。

第一志望群の一つである某価格比較サイトは書類選考落ち。

第二群の一つのITベンチャーは次最終面接です。

がんばります。

Pythonメモ

・python

スクリプト言語で、1991年にオランダ人のグイド・ヴァンロッサムが開発。

可読性が高く、ライブラリも豊富であり、オブジェクト指向開発もできる。

マルチOSに対応している。

今後の予定

卒論

スクレイピングをするために、Ubuntuを導入する。

Ubuntu用のHDD、インストール用のUSBメモリを購入する　○

HDＤを取り付け

パーティション分け

USBにUbuntuインストール

Ubuntuインストール

 etc

就活準備

添削してもらった自己ＰＲ等を手直しする

「これが本当のＳＰＩ3だ」を進める

志望企業の目処をつける

etc

 

３年が終わる

残りはテスト２つとレポート一つを終えたら、３年が終わる。

ついこのまえ入学したばかりなのにもう就活が始まるのか・・・・。

月日が経つのは本当に早い。