創屋ぷれす

Scrapyとは

Scrapy


スクラピーと読む派、スクレイピーと読む派、どっちかは・・・?
Webクローリング、スクレイピング用のpythonフレームワークです。

クローリングは、Webページを巡回して、その情報をダウンロードすること。
スクレイピングは、ダウンロードした情報を解析して必要なことを抜き出すこと。

Scrapyは、この2つのことができます。
Scrapyでクローラーが作れます。

Scrapyをインストールして、プロジェクトを作成して、
出来たSpiderフォルダに、スクレイピング対象の定義などを記載したファイルを置いて、
items.pyに、スクレイピンした後に取得するデータを定義して、
settings.pyに、動作の設定をする・・・等

簡単そうですね。

Comments are closed.