世界一いらない人工知能？？OpenCVを用いたカワウソ分類器作成奮闘記

# -*- coding: utf-8 -*-

import cv2

#HAAR分類器の顔検出用の特徴量
cascade_path = "/usr/local/opt/opencv/share/OpenCV/haarcascades/haarcascade_frontalface_alt.xml"


image_path = "sample.jpg"

color = (255, 255, 255) #白

#ファイル読み込み
image = cv2.imread(image_path)

#カスケード分類器の特徴量を取得する
cascade = cv2.CascadeClassifier(cascade_path)

#物体認識（顔認識）の実行
#image – CV_8U 型の行列．ここに格納されている画像中から物体が検出されます
#objects – 矩形を要素とするベクトル．それぞれの矩形は，検出した物体を含みます
#scaleFactor – 各画像スケールにおける縮小量を表します
#minNeighbors – 物体候補となる矩形は，最低でもこの数だけの近傍矩形を含む必要があります
#flags – このパラメータは，新しいカスケードでは利用されません．古いカスケードに対しては，cvHaarDetectObjects 関数の場合と同じ意味を持ちます
#minSize – 物体が取り得る最小サイズ．これよりも小さい物体は無視されます
facerect = cascade.detectMultiScale(image, scaleFactor=1.1, minNeighbors=1, minSize=(1, 1))

if len(facerect) > 0:
    #検出した顔を囲む矩形の作成
    for rect in facerect:
        cv2.rectangle(image, tuple(rect[0:2]),tuple(rect[0:2]+rect[2:4]), color, thickness=2)

    #認識結果の保存
    cv2.imwrite("face_detected.jpg", image)

画像収集

さて、方針は決まって後は画像を集めるのですがここが一番の肝です。今回はFlickrという画像共有サイトのAPIを利用して画像を集めました。利用方法については下記を参考にしました。 Flickr APIを使って画像ファイルをダウンロードする 本来であれば正解データ7000枚、不正解データ3000枚ほど必要なのですがflickr APIではカワウソの画像400枚ほどしか集められませんでした。こうやればたくさん集められるよ！！というのを知っている方がいらっしゃれば教えてくださいm(_ _)m。不正解データは同様にしてパンダの画像を集めました。 正解データの例 不正解データの例 以下に画像取得の時に利用したスクリプトを載せておきます

import os

import time
import traceback

import flickrapi
from urllib.request import urlretrieve

import sys
from retry import retry

flickr_api_key = ""
secret_key = ""

keyword = sys.argv[1]


@retry()
def get_photos(url, filepath):
    urlretrieve(url, filepath)
    time.sleep(1)


if __name__ == '__main__':

    flicker = flickrapi.FlickrAPI(flickr_api_key, secret_key, format='parsed-json')
    response = flicker.photos.search(
        text=keyword,
        per_page=1000,
        media='photos',
        sort='relevance',
        safe_search=1,
        extras='url_n,license'
    )
    photos = response['photos']

    try:
        if not os.path.exists('./image-data/' + keyword):
            os.mkdir('./image-data/' + keyword)

        for photo in photos['photo']:
            try:
                url_q = photo['url_n']
                filepath = './image-data/' + keyword + '/' + keyword + "-" + photo['id'] + '.jpg'
                get_photos(url_q, filepath)
            except KeyError:
                print("error!!!")

    except Exception as e:
        traceback.print_exc()

正解データのラベル付け

さて、なんとか画像を集めることが出来たのですが、正解データの画像のどの座標の位置にカワウソの顔があるかを指定していかなければなりません。githubにブラウザで画像データの座標を記録出来るプログラムを作られてる方がいたのでそちらを利用させていただくことにしました。 github.com こんな感じで地道にカワウソの顔を囲っていきます。画像が赤い四角形で囲まれた状態でNEXTボタンを押すと正解データに座標と共に分類され、何もない状態で押すと不正解データに分類されます。しかし、カワウソの画像でも横顔のデータなどは正解データとしては不適切でそういった画像の時はSKIPボタンでどちらにも分類されないようにしました。集めたカワウソの画像の中には横顔だったり、二次元のキャラクターのカワウソも含まれていたので正解データに分類された画像は5割程となりました。 正解データとはならない写真の例 正解データ、不正解データに分類するのにものすごく時間かかりました・・・・。正解、不正解合わせて800枚ほどのデータが集まったのですが3時間くらいひたすら画像とにらめっこして分類してました。macのトラックパッドにクリックしすぎて指がおかしくなりましたが、ありとあらゆるカワウソの写真を見れて幸せな時間でもありました笑。 正解のデータのテキストファイルです。【画像ファイル名 対象の物体の数 x座標 y座標 width height】 の順に記録されます。

info.dat
static/img/otter-6814063158.jpg  1  50 24 66 50
static/img/otter-4494710692.jpg  1  174 30 52 38
static/img/otter-8885141162.jpg  1  78 42 67 60
static/img/otter-25450661078.jpg  1  102 36 69 49
static/img/otter-14377745688.jpg  1  38 46 152 97
static/img/otter-32616826780.jpg  1  44 22 133 101
static/img/otter-26964747057.jpg  1  57 55 37 24
static/img/otter-27695436712.jpg  1  64 26 84 67
static/img/otter-5105713030.jpg  1  113 35 75 54
static/img/otter-7394889242.jpg  1  35 73 51 43
static/img/otter-27807883499.jpg  1  89 31 77 50
static/img/otter-33148797350.jpg  1  99 42 37 36
static/img/otter-7941157504.jpg  1  126 14 58 41
static/img/otter-32646878413.jpg  1  49 89 35 27
static/img/otter-33520353216.jpg  1  110 49 52 46
.
.
.

不正解のデータのテキストファイルです。

bg.txt
static/img/panda-8976226384.jpg
static/img/panda-9325505556.jpg
static/img/panda-8761206443.jpg
static/img/panda-4107493751.jpg
static/img/panda-2155184460.jpg
static/img/panda-8426952443.jpg
static/img/panda-190747022.jpg
static/img/panda-26702691447.jpg
static/img/panda-7999165142.jpg
static/img/panda-19517101803.jpg
.
.
.

モデル構築

そんなこんなで苦労して分類したデータをOpencvを用いて学習させてみました。まずOpenCVに認識してもらうために、正解データをバイナリファイルに変換する処理を行います。

opencv_createsamples -info info.dat -vec kawauso.vec -num 175

numはサンプル数です。学習させるために以下のコマンドを実行します。

opencv_traincascade -data kawauso/ -vec kawauso.vec -bg bg.txt -numPos 157 -numNeg 376 -featureType HAAR -mode ALL

• data　モデルの保存先です。kawausoというディレクトリを作成しておきました。
• numPos　正解データの要素数を指定しているのですが、サンプル数×0.9くらいがいいらしいです。

OpenCVのtraincascadeのnumPos引数はvecファイル内のサンプル数より少ない数を設定すること - takminの書きっぱなし備忘録

• featureType　機械学習の特徴量を指定しています。先ほど述べたHaar-Like特徴を用いていました。

検証

構築したモデルを使用してカワウソの顔が検出されるか実験してみました。 テスト画像 検証結果 なかなか良さそうです。他の画像でも検証してみました。 いい感じに検出されてますね 友人の飼ってる猫。くろまるって言います。カワウソ検出器では検出されませんでした。 軍団カワウソ。うーん。やはり改善の余地がありそうです。 ラッコです。顔が似ているのか検出されました笑 検証の時に使用したスクリプトです。

import sys
import cv2 as cv

def detect(imagefilename, cascadefilename):
    srcimg = cv.imread(imagefilename)
    if srcimg is None:
        print('cannot load image')
        sys.exit(-1)
    dstimg = srcimg.copy()
    cascade = cv.CascadeClassifier(cascadefilename)
    if cascade.empty():
        print('cannnot load cascade file')
        sys.exit(-1)
    objects = cascade.detectMultiScale(srcimg, 1.1, 3)
    for (x, y, w, h) in objects:
        print(x, y, w, h)
        cv.rectangle(dstimg, (x, y), (x + w, y + h), (0, 0, 255), 2)
    return dstimg

if __name__ == '__main__':
    result = detect('otter1.jpg', './kawauso/cascade.xml')
    cv.imwrite('otter1_result.jpg', result)

感想

教師データをもう少し用意できたらよかったです。 機械学習は前処理が8割なんてもんじゃない。99%が前処理といっても過言じゃないと思いました。便利なライブラリやツールがある中で泥臭い作業こそ機械学習では必要なのだと体感しました。 こんなやり方あるよというのがありましたらぜひ教えてください！！