人工知能でTwitterのタイムラインとみんなの心を光で満たしたい

プログラム

def format_text(text):

    text=re.sub(r'https?://[\w/:%#\

amp;\?\(\)~\.=\+\-…]+', "", text)

text=re.sub('RT', "", text)

text=re.sub('お気に入り', "", text)

text=re.sub('まとめ', "", text)

text=re.sub(r'[!-~]', "", text)#半角記号,数字,英字

text=re.sub(r'[︰-＠]', "", text)#全角記号

text=re.sub('\n', " ", text)#改行文字

return text

format_text()の中に文字列を引数として突っ込むと、その文字列の中のURLっぽい表現や、絶対必要ないであろう表現を削除した文字列に整形して返してあげるプログラムです。 これでいい感じのデータになりましたが、まだまだいいデータに整形できます。そこで役立つのが、「形態素解析」です！！

プログラム

def tokenize(tweets):
  t = Tokenizer()
  tokenized_tweets = []
  for tw in tweets:
    tokens = t.tokenize(tw)
    tmp = ""
    for token in tokens:
      
      noun_flag = 0
      
      partOfSpeech = token.part_of_speech.split(",")[0]
      
      if partOfSpeech == "名詞":
        noun_flag = 1
      if partOfSpeech == "動詞":
        noun_flag = 1
      if partOfSpeech == "形容詞":
        noun_flag = 1
      if partOfSpeech == "形容動詞":
        noun_flag = 1
      if partOfSpeech == "感動詞":
        noun_flag = 1
      
      if noun_flag == 1:
        tmp += token.surface + " "
        
    tmp = tmp.rstrip(" ")    
    tokenized_tweets.append(tmp)
    
  return tokenized_tweets

まず、janomeライブラリの中のTokenizer()というインスタンスを作成します。このインスタンスが形態素解析をおこなってくれます。 次に、Tokenizer()インスタンスのtokenize()関数を使って、集めたツイート一つ一つを、先ほどの文章みたいに細かく切り刻みます。

そしてfor文で1つ1つの単語の品詞を変数partOfSpeechに代入し、その品詞が学習で使えそうな品詞(名詞、動詞、形容詞、形容動詞のいずれか)なら、noun_flagというフラグを1(このフラグの値は元々0)にします。

最後に、1つ1つの単語に対してその単語のnoun_flagが1なら(上に挙げた品詞に該当する)残す、0なら(上に挙げた品詞に該当しない)その単語を削除、といった具合にツイートをゴリゴリ削っていきます！また、今後のために各単語を半角スぺース" "で区切っています。 そうして整形されたツイートを返り値として返す関数になっています！ 例えば、「明日は晴れるでしょう。」というツイートがもしあった場合、こうなります。 「明日 晴れる」 これで機械に学習させる準備は整いました！早速学習させていきましょう！

決定木分析とは？

下の図のような決定木と呼ばれるものをデータの学習によって作成し、条件分岐によってグループ(ツイートの集まり)を分割し、グループ内の各要素(ツイート)を分類する(ポジティブか？ネガティブか？)手法です。

上の決定木だと、「ゲーム楽しい！最高！」というツイートはPositive!に分類されます。 また、「ゲーム楽しいけど、負けるとイライラする...」というツイートはNegative...に分類されます。 この決定木は元の学習データ(ツイート)と、教師データ(そのツイートがポジティブなものかネガティブなものかの答え)によって作成されます。

膨大な量の学習データ、教師データから決定木を作成し、人間がポジティブかネガティブかを教えずにツイートを与え、先ほどの学習によって作られた決定木によってポジティブかネガティブかを判定させる、これを決定木分析といいます。

ランダムフォレストとは？

上記の決定木分析で作られる決定木は一本のみです。しかし、ランダムフォレストでは、この決定木を複数作成します。 そうして得られた複数の決定木から一番判定の精度が良いものを選抜し、ポジティブかネガティブかがわからないツイートの判定に用いる。この学習方法をランダムフォレストといいます。

BOW_tf-idfによる文字→数値表現

プログラム

pos_tweets = get_positive_tweets()
neg_tweets = get_negative_tweets()
tokenized_pos_tweets = tokenize(pos_tweets)
tokenized_neg_tweets = tokenize(neg_tweets)

tweet_datas = []
tweet_labels = []

for tw in tokenized_pos_tweets:
  tweet_datas.append(tw)
  tweet_labels.append("positive")
for tw in tokenized_neg_tweets:
  tweet_datas.append(tw)
  tweet_labels.append("negative")

その次に、学習用ツイートデータ配列tweet_datas,教師データtweet_labelsを用意し、先ほど得られた整形済みツイートを格納していきます。tokenized_pos_tweetsのデータが格納されたときはtweet_labelsに"positive"を、tokenized_neg_tweetsが格納されたときは"negative"を格納しています。学習データの順番と教師データの順番が対応するよう格納しています。

train_data, test_data, train_labels, test_labels = train_test_split(
tweet_datas, tweet_labels, test_size=0.2,random_state=0)

そして得られた学習用データ、教師用データを、トレーニングデータ、テストデータに分割します。 トレーニングデータとは、学習モデルを構築するためのデータです。 テストデータとは、構築された学習モデルの精度を判定するためのデータです。 今回がトレーニングデータ：テストデータ＝8：2で分割します。

vectorizer = TfidfVectorizer(use_idf=True, token_pattern="(?u)\\b\\w+\\b")
train_matrix =  vectorizer.fit_transform(train_data)
test_matrix = vectorizer.transform(test_data)

BOW_tf-idf表現を用いて、ツイートの各単語を数値で表現します。

clf = RandomForestClassifier(n_estimators=1000,random_state=20,max_depth=75)
clf.fit(train_matrix, train_labels)

ランダムフォレストで先ほどの文字→数値表現データを学習させます。 n_estimatorsは決定木の候補の本数、random_stateはデータの取り出し方や分割方法、max_depthは決定木の深さを決定します。シミュレーションで得られた最も精度の良い値を採用しています。

print("トレーニングデータ精度:",clf.score(train_matrix, train_labels))
print("テストデータ精度:",clf.score(test_matrix, test_labels))

得られた学習モデルの、トレーニングデータ、テストデータの精度を出力します。

test_tweets = ["生まれてきて良かった",
"このツイート最高に面白い！すごくいいね！",
"君のおかげでいろいろ助かった！ありがとう！",
"ごめんなさい今そういう気分じゃないんです",
"最近いろいろつまらんわ",
"なんか何もかもやる気が出ない・・・",
"君が友達で俺は幸せだ！",
"イライラして壁破壊してしまいそう",
"あの人なんか気持ち悪い・・・",
"君のことを考えるだけで目の前が光で包まれるよ！最高だ！"
]
test_tokenized = tokenize(test_tweets)
test_matrix2 = vectorizer.transform(test_tokenized)
test_result = pd.DataFrame()
test_result["テスト対象ツイート"] = test_tweets
test_result["判定"] = clf.predict(test_matrix2)
test_result

原因(予想)1. 単語の学習不足？

今回収集したポジティブツイートの数は15551ツイートですが、その中に"幸せ" "ありがとう" これらの単語が含まれたツイートが少ないため、学習モデルがこれらの単語をポジティブな単語として認識してくれなかったのではないかと考えました。

また、"君"という言葉をネガティブな単語として判定しているのでは？とも感じました。しかし、 「君のことを考えるだけで目の前が光で包まれるよ！最高だ！」というツイートはpositive判定されています。これは、"光" "最高" など、ポジティブ要素が非常に強い単語でネガティブ要素を相殺しているため、positive判定されたのではないか、と考えました。

原因(予想)2. 決定木が不完全？

原因(予想)3. 単語同士の繋がり(文脈)が考慮されていない