Elixirでクローラー作成 導入&プロジェクト作成編

導入

画像系のディープラー二ングをするときに,何をするにしても学習用のデータは大事です.
ですが,画像を大量に持っていることはまずないでしょう.


そこで,1から手でポチポチ集めるのもしんどいので,クローラーを作って寝ている間に集めてもらおうという話です.
既製のクローラーもありますが,勉強のためにElixirで自作します.
(Pythonのほうが楽そうなんですがね笑)


何回かに分けて書いていきたいと思います.
まずは,Elixirでのプロジェクト作成から実行まで,です.

プロジェクト作成から実行まで

mixを使ってプロジェクトを作成します.
testコマンドを使ってテストするように言われるのでテストします.

# mix new imcrawler
# cd imcrawler
# mix test


処理を書いたファイルを格納するディレクトリを作成します.
プロジェクト名.exからlib配下のモジュールを読んで処理をします.

# mkdir lib/imcrawler


imcrawer.exを編集して,とりあえずHello Worldを表示する処理を書きます.
(codeはVisual Studio Codeの起動コマンドなので,お好みのエディタでどうぞ)

# code lib/imcrawler.ex
defmodule Imcrawler do
  @moduledoc """
  Documentation for Imcrawler.
  """

  def main do
    IO.puts("Hello World")
  end
end


実行します.
Hello Worldが表示されればOKです.

# mix run -e "Imcrawler.main"
Hello World


スクレイピング編に続く…

シェアする

  • このエントリーをはてなブックマークに追加

フォローする