導入
画像系のディープラー二ングをするときに,何をするにしても学習用のデータは大事です.
ですが,画像を大量に持っていることはまずないでしょう.
そこで,1から手でポチポチ集めるのもしんどいので,クローラーを作って寝ている間に集めてもらおうという話です.
既製のクローラーもありますが,勉強のためにElixirで自作します.
(Pythonのほうが楽そうなんですがね笑)
何回かに分けて書いていきたいと思います.
まずは,Elixirでのプロジェクト作成から実行まで,です.
プロジェクト作成から実行まで
mixを使ってプロジェクトを作成します.
testコマンドを使ってテストするように言われるのでテストします.
# mix new imcrawler
# cd imcrawler
# mix test
処理を書いたファイルを格納するディレクトリを作成します.
プロジェクト名.exからlib配下のモジュールを読んで処理をします.
# mkdir lib/imcrawler
imcrawer.exを編集して,とりあえずHello Worldを表示する処理を書きます.
(codeはVisual Studio Codeの起動コマンドなので,お好みのエディタでどうぞ)
# code lib/imcrawler.ex
defmodule Imcrawler do
@moduledoc """
Documentation for Imcrawler.
"""
def main do
IO.puts("Hello World")
end
end
実行します.
Hello Worldが表示されればOKです.
# mix run -e "Imcrawler.main"
Hello World
スクレイピング編に続く…