人工知能でTwitterのタイムラインとみんなの心を光で満たしたい

def get_twitter_api(CK, CS, AK, AT):
    auth = tweepy.OAuthHandler(CK, CS)
    auth.set_access_token(AK, AT)
    api = tweepy.API(auth)
    return api
def get_tweet(user_id,count):
    API = get_twitter_api(CK, CS, AK, AT)
    data = API.user_timeline(id=user_id, count=count)
    tweets = []
    for tweet in data:
        tweets.append(format_text(tweet.text))
    return tweets,data[-1].id

def get_tweet_with_id(user_id,count,next_max_id):
    API = get_twitter_api(CK, CS, AK, AT)
    data = API.user_timeline(id=user_id, count=count, max_id=next_max_id-1)
    tweets = []
    for tweet in data:
        tweets.append(format_text(tweet.text))
    if len(data) == 0:
        return tweets,0
    return tweets,data[-1].id

こちらがツイート収集用プログラムです。 これらの関数を利用して、実際にデータ収集させるプログラムがこちらです！

def get_positive_tweets():
    pos_tweets = []
    positive_ids =[
                  "positive_bot_00",
                  "positivekk_bot",
                  "botpositive", 
                  "positive_mot",
                  "kami_positive",
                  "positive_bot",
                  "jinseiplusbot",
                  "syuzou_genki",
                  "genki_kotoba_m"
    ]
for pos_id in positive_ids:
    tmp,max_id = get_tweet(pos_id,200)
    tmp = list(set(tmp))
    for i in range(len(tmp)):
        pos_tweets.append(tmp[i])
    while True:
        tmp,max_id = get_tweet_with_id(pos_id,100,max_id)
        tmp = list(set(tmp))
        for i in range(len(tmp)):
            pos_tweets.append(tmp[i])
        if max_id == 0:
            break
    return pos_tweets

def get_negative_tweetes():

    neg_tweets = []
    negative_ids = [
                  "negatizibu_bot",
                  "inmydream19",
                  "lewyfDanf",
                  "positive_act_me",
                  "pgmtmw",
                  "yamik_bot",
                  "cool_aroma",
                  "nega_bot",
                  "negativedbot",
                  "H4Za5",
                  "ymibot"
    ]
    for neg_id in negative_ids:
        tmp,max_id = get_tweet(neg_id,200)
        tmp = list(set(tmp))
        for i in range(len(tmp)):
            neg_tweets.append(tmp[i])
        while True:
            tmp,max_id = get_tweet_with_id(neg_id,100,max_id)
            tmp = list(set(tmp))
        for i in range(len(tmp)):
            neg_tweets.append(tmp[i])
        if max_id == 0:
            break
    return neg_tweets

こちらの関数でポジティブツイート、ネガティブツイートの収集を行っています。positive_ids,negative_ids内のIDのアカウントの、1週間分のツイートを収集できるようになっています！set()関数を使うことでbotで頻繁に表れる重複ツイートを取り除いています。そして残ったツイートをpos_tweets、neg_tweetsに格納して、返り値としています！ これでポジティブツイート、ネガティブツイートのデータは集まりましたね。 次はこれらのツイートを、機械が学習しやすいように整形していきます！

データの整形

def format_text(text):

    text=re.sub(r'https?://[\w/:%#\
amp;\?\(\)~\.=\+\-…]+', "", text)

    text=re.sub('RT', "", text)

    text=re.sub('お気に入り', "", text)

    text=re.sub('まとめ', "", text)

    text=re.sub(r'[!-~]', "", text)#半角記号,数字,英字

    text=re.sub(r'[︰-＠]', "", text)#全角記号

    text=re.sub('\n', " ", text)#改行文字

    return text

明日    　アシタ    明日    　名詞-副詞可能        
は   　 　ハ    　　は    　　助詞-係助詞        
晴れる    ハレル    晴れる    動詞-自立    一段    　　　基本形
でしょ    デショ    です    　助動詞    　 特殊・デス    未然形
う    　　ウ    　　う    　　助動詞    　 不変化型    　基本形
。    　　。    　　。   　　 記号-句点

なんかいろいろ書いてあって難しそうですが、左から4列目を見てください！今回、こちらに書いてある品詞の情報を使って、データを整形していきます！

プログラム

def tokenize(tweets):
  t = Tokenizer()
  tokenized_tweets = []
  for tw in tweets:
    tokens = t.tokenize(tw)
    tmp = ""
    for token in tokens:
      
      noun_flag = 0
      
      partOfSpeech = token.part_of_speech.split(",")[0]
      
      if partOfSpeech == "名詞":
        noun_flag = 1
      if partOfSpeech == "動詞":
        noun_flag = 1
      if partOfSpeech == "形容詞":
        noun_flag = 1
      if partOfSpeech == "形容動詞":
        noun_flag = 1
      if partOfSpeech == "感動詞":
        noun_flag = 1
      
      if noun_flag == 1:
        tmp += token.surface + " "
        
    tmp = tmp.rstrip(" ")    
    tokenized_tweets.append(tmp)
    
  return tokenized_tweets

pos_tweets = get_positive_tweets()
neg_tweets = get_negative_tweets()
tokenized_pos_tweets = tokenize(pos_tweets)
tokenized_neg_tweets = tokenize(neg_tweets)

まず前項のプログラムの関数を総動員して、ポジティブ、ネガティブなツイートを取得、そして整形します。 そうして得られる整形済みツイートをtokenized_pos_tweets,tokenized_neg_tweetsに格納します。

tweet_datas = []
tweet_labels = []

for tw in tokenized_pos_tweets:
  tweet_datas.append(tw)
  tweet_labels.append("positive")
for tw in tokenized_neg_tweets:
  tweet_datas.append(tw)
  tweet_labels.append("negative")

その次に、学習用ツイートデータ配列tweet_datas,教師データtweet_labelsを用意し、先ほど得られた整形済みツイートを格納していきます。tokenized_pos_tweetsのデータが格納されたときはtweet_labelsに"positive"を、tokenized_neg_tweetsが格納されたときは"negative"を格納しています。学習データの順番と教師データの順番が対応するよう格納しています。

train_data, test_data, train_labels, test_labels = train_test_split(
tweet_datas, tweet_labels, test_size=0.2,random_state=0)

そして得られた学習用データ、教師用データを、トレーニングデータ、テストデータに分割します。 トレーニングデータとは、学習モデルを構築するためのデータです。 テストデータとは、構築された学習モデルの精度を判定するためのデータです。 今回がトレーニングデータ：テストデータ＝8：2で分割します。

vectorizer = TfidfVectorizer(use_idf=True, token_pattern="(?u)\\b\\w+\\b")
train_matrix =  vectorizer.fit_transform(train_data)
test_matrix = vectorizer.transform(test_data)


BOW_tf-idf表現を用いて、ツイートの各単語を数値で表現します。

clf = RandomForestClassifier(n_estimators=1000,random_state=20,max_depth=75)
clf.fit(train_matrix, train_labels)

ランダムフォレストで先ほどの文字→数値表現データを学習させます。 n_estimatorsは決定木の候補の本数、random_stateはデータの取り出し方や分割方法、max_depthは決定木の深さを決定します。シミュレーションで得られた最も精度の良い値を採用しています。

print("トレーニングデータ精度:",clf.score(train_matrix, train_labels))
print("テストデータ精度:",clf.score(test_matrix, test_labels))


得られた学習モデルの、トレーニングデータ、テストデータの精度を出力します。

test_tweets = ["生まれてきて良かった",
"このツイート最高に面白い！すごくいいね！",
"君のおかげでいろいろ助かった！ありがとう！",
"ごめんなさい今そういう気分じゃないんです",
"最近いろいろつまらんわ",
"なんか何もかもやる気が出ない・・・",
"君が友達で俺は幸せだ！",
"イライラして壁破壊してしまいそう",
"あの人なんか気持ち悪い・・・",
"君のことを考えるだけで目の前が光で包まれるよ！最高だ！"
]
test_tokenized = tokenize(test_tweets)
test_matrix2 = vectorizer.transform(test_tokenized)
test_result = pd.DataFrame()
test_result["テスト対象ツイート"] = test_tweets
test_result["判定"] = clf.predict(test_matrix2)
test_result