機械学習で探すJ-POPあるある

from time import sleep
import urllib.request
from bs4 import BeautifulSoup
import re

#歌詞ページのURLから歌詞本体を取得
#関数scrapingから呼び出される
def song_scraping(url):
    s_html = urllib.request.urlopen(url)
    s_soup = BeautifulSoup(s_html, "lxml")
    lyric = s_soup.find("div", id="kashi_area")
    
    #HTML上で</br>区切りで改行されているのを用い、正規表現で行ごとの文を取得
    #行ごとに分ける必要がなければ lyric.text でも良い
    lines = re.findall(r'>.*?<', str(lyric))
    lines_cut = []
    for line in lines:
        #何もない行を除く
        if len(line) > 2:
            #空白が"\u3000"になっているので置換
            line = line.replace("\u3000", " ")
            lines_cut.append(line[1:len(line)-1])
    return lines_cut
            

#曲の一覧のurlが渡される
def scraping(url):
    lyrics = []   
    songs = []
    artists = []
    url_list = []
    for i in range(1,5):
        url_list.append(url + "?p=" + str(i))
    #それぞれのページについて
    for u in url_list:
        html = urllib.request.urlopen(u)
        soup = BeautifulSoup(html, "lxml")
        links = soup.find_all("a")

        for link in links:
            link_content = link.get("href")
            if link_content[0:5] == '/song':
                #曲へのリンクを見つけた場合そこに飛ぶ
                song_url = 'https://www.uta-net.com' + link_content
                lyrics.append(song_scraping(song_url))
                songs.append(link.text)
            elif link_content[0:7] == '/artist':
                #アーティストへのリンクを見つけた場合そのアーティスト名を保存
                artists.append(link.text)
        sleep(0.5)
    return lyrics, songs, artists

#曲のリストから歌詞の１行目を参照して同一と思われる曲を削除
def cut_same_song(lyrics, songs, artists):
    cut = []
    for i in range(len(songs)):
        for j in range(i+1, len(songs)):
            if lyrics[i][0] == lyrics[j][0]:
                cut.append(j)
    cut.sort()
    for k in range(len(cut)):
        del lyrics[cut[k]-k]
        del songs[cut[k]-k]
        del artists[cut[k]-k]
    return lyrics, songs, artists

url ="https://www.uta-net.com/user/ranking/monthly.html"
                
lyrics, songs, artists = scraping(url)

lyrics, songs, artists = cut_same_song(lyrics, songs, artists)

trash = [ "(", ")", "（", "）",  "'", ".", ",", "&", "＆", ":", ";", "!", "?", "…", "-", "！", "？", "a", "m", "s", "t", \
         "I", "me", "you", "You", "we", "We","the", "that", "it", "is", "be", "are", "Are", "to", "ll", "re", "ve", \
         "say", "in", "for", "of", "and", "one", \
         "oh", "yeah", "wow", "baby", "Baby", \
         "さ", "ら", "す", "かな", "かん", \
          "人", "あと", "たち", "もと", "方", "先", "前", "度", "次", "気", "最後", "すべて", "場所", "全て", "的", "底", \
         "れる", "られる", "なる", "する", "いる", "ある", "くる", "いく", "せる", "ない", "いい", \
          "一", "二", "2", "２"]
         
block = ["それ", "そう", "どれ", "どこ", "ここ", "これ", "誰", "何", "なん", \
         "僕", "私", "君", "あなた", "自分", "ぼく", "僕ら", "僕たち", "今", \
         "いま", "いつ", "いつか", "今日", "明日", "日々", \
         "夢",  "幸せ", "気持ち", "恋", "愛", "言葉", "心", "好き", "想い", "未来", "勇気", "笑顔", "道", \
         "思う", "言う", "見る", "行く", "笑う", "愛す", "信じる", \
         "知る", "わかる", "できる", "出来る", "会う", "分かる", "なれる", "見える", \
          "愛しい", "優しい"]

import numpy as np
from janome.tokenizer import Tokenizer

#単語の組み合わせごとの出現頻度を調査
#lines: 歌詞が行ごとにリストで渡される
#dic_id: 今までに登場した単語一覧とそれらのIDの入った辞書
#dic_len: 引数として渡された時点でのdic_idの長さ
#mat: 二次元配列。それぞれの単語の組について、点数を保存している。
#例えば mat[0][3]==1 なら、dic_idでIDが1の単語と3の単語の組み合わせが存在した曲が１曲あったことになる。
#trash: 無視する単語リスト
#block: 単語として意味はあるが無駄に多く登場するので点数をつけない単語リスト
#dic_id, dic_len, mat を更新して返す
def analyze(lines, dic_id, dic_len, mat, trash, block):
    #１つ前、２つ前の単語
    pre = '\0'
    pre2 = '\0'
    #１つ前、２つ前の単語がblockに含まれていないかをここに保存。含まれていたら１が立つ。
    pre_block = [0, 0]
    #この曲で現れた単語の組み合わせはすべてこの二次元配列に保存する。
    mat_temp = np.reshape(np.zeros(len(mat)**2, dtype='uint8'), (len(mat), len(mat)))
    
    t = Tokenizer()
    for line in lines:
        #各行を単語に分ける(形態素解析)
        tokens = t.tokenize(line)  
        for token in tokens:
            #品詞分類
            part_of_speech = token.part_of_speech.split(",")[0]
            part_of_speech_sub = token.part_of_speech.split(",")[1]
            #原形を取得
            base_form = token.base_form


            if (part_of_speech == "名詞" or part_of_speech == "動詞" or part_of_speech == "形容詞" or part_of_speech == "形容動詞")\
                    and part_of_speech_sub != "非自立" and not base_form in trash:
                if not base_form in block:
                    #ここからカウントの対象とみなされた単語に対して行う操作
                    if not base_form in dic_id:
                        #新出の単語ならそれのために dic_id, mat_temp　を拡張
                        dic_id[base_form] = len(dic_id)
                        if len(mat)==0:
                            mat = np.array([[0]], dtype='uint8')
                            mat_temp = np.array([[0]], dtype='uint8')
                        else:
                            mat = np.append(mat, np.reshape([np.zeros(len(mat), dtype='uint8')], (-1, 1)), axis=1)
                            mat = np.append(mat, [np.zeros(len(mat)+1, dtype='uint8')], axis=0)
                            mat_temp = np.append(mat_temp, np.reshape([np.zeros(len(mat_temp), dtype='uint8')], (-1, 1)), axis=1)
                            mat_temp = np.append(mat_temp, [np.zeros(len(mat_temp)+1, dtype='uint8')], axis=0)
                    #単語の組に加点
                    if not pre == '\0' and pre_block[0]==0:
                        i = dic_id[base_form]
                        j = dic_id[pre]
                        if i>j:
                            i, j = j, i
                        mat_temp[i][j] = 1
                    if not pre2 == '\0' and pre_block[1]==0:
                        i = dic_id[base_form]
                        j = dic_id[pre2]
                        if i>j:
                            i, j = j, i
                        mat_temp[i][j] = 1
                    #pre_blockの更新
                    pre_block[1] = pre_block[0]
                    pre_block[0] = 0
                else:
                    pre_block[1] = pre_block[0]
                    pre_block[0] = 1

                pre2 = pre
                pre = base_form
    #この曲で加点された結果を足して上書き
    mat = mat + mat_temp
    return dic_id, len(dic_id), mat


dic_len = 0
dic_id = {}
mat = []

for lyric in lyrics:
    dic_id, dic_len, mat = analyze(lyric, dic_id, dic_len, mat, trash, block)

#歌詞と２つの単語を受け取り、その２つの単語の組み合わせを見つけ次第表示する
def show_example(lines, song, artist, word1, word2, trash, block):
    #今何行目にいるか
    now_line = 0
    #１つ目の探すべき単語が直近にあるかどうか。
    #現在見ている単語が探すべき単語なら１、１つ前の単語が探すべき単語なら２、
    #２つ前の単語が探すべき単語なら４を示す。
    flag1 = 0
    #同様に、２つ目の探すべき単語が直近にあるかどうか。
    flag2 = 0
    pre = "\0"
    pre2 = "\0"
    t = Tokenizer()
    for line in lines:
        tokens = t.tokenize(line)
        for token in tokens:
            part_of_speech = token.part_of_speech.split(",")[0]
            part_of_speech_sub = token.part_of_speech.split(",")[1]
            base_form = token.base_form


            if (part_of_speech == "名詞" or part_of_speech == "動詞" or part_of_speech == "形容詞" or part_of_speech == "形容動詞")\
                    and part_of_speech_sub != "非自立" and not base_form in trash and not base_form in block:
                if base_form == word1:
                    flag1 = 1
                if base_form == word2:
                    flag2 = 1
                if flag1+flag2 == 3 or flag1+flag2 == 5:
                    #この場合は見つかったので表示
                    print(song, artist, ':')
                    if now_line == 0:
                        print(lines[now_line])
                    else:
                        print(lines[now_line-1]+lines[now_line])
                    return True
                pre2 = pre
                pre = base_form
                flag1 *= 2
                flag2 *= 2
                flag1 %= 8
                flag2 %= 8
        now_line += 1
    #見つからなかった場合
    return False

#「あるある」の可能性がある単語の組の表示
for i in range(len(mat)):
    word1 = [key for key, v in dic_id.items() if v==i][0]
    for j in range(i+1, len(mat)):
        word2 = [key for key, v in dic_id.items() if v==j][0]
       #今回は3回以上登場した組を抽出してみる
        if mat[i][j] >= 3:
            print('「' + word1 + '」「' + word2 + '」にかんする' + str(mat[i][j]) + '個の「あるある」が検出されました。')
            print()
            found_num = 0
            #歌詞の探索
            for lyric, song, artist in zip(lyrics, songs, artists):
                found = show_example(lyric, song, artist, word1, word2, trash, block)
                if found==True:
                    found_num += 1
                #表示は最大4曲までとする
                if found_num == 4:
                    break
            print()

「手」「伸ばす」にかんする9個の「あるある」が検出されました。

春雷 米津玄師 :
あなたにはこの世界の彩りが どう見えるのか知りたくて今頬に手を伸ばした 壊れそうでただ怖かった
スパークル [original ver.] RADWIMPS :
運命だとか未来とかって 言葉がどれだけ手を伸ばそうと届かない 場所で僕ら恋をする
ロメオ LIP×LIP :
潤んだ瞳 嘆く唇に触れたいと手を伸ばした
HANABI Mr.Children :
もう一回 もう一回僕はこの手を伸ばしたい

from gensim.models.doc2vec import Doc2Vec
from gensim.models.doc2vec import TaggedDocument
from janome.tokenizer import Tokenizer

#スクレイピングで取得した1曲分の歌詞を学習できるように成形する
def make_training_doc(num, lines):
    t = Tokenizer()
    #改行で区切っていたのを結合する
    lyric = ''.join(lines)
    #janomeの形態素解析の分かち書きを利用する
    training_token = t.tokenize(lyric, wakati=True)
    training_doc = TaggedDocument(words=training_token, tags=[num])
    return training_doc

training_docs = []

for num, lyric in enumerate(lyrics):
    training_docs.append(make_training_doc(num, lyric))

#学習
model = Doc2Vec(documents=training_docs, min_count=1)

#対象の単語が含まれる部分を抽出
#見つかったかどうかと上書きしたlines_includingを返す
def pickup(lines, word, lines_including):
    t = Tokenizer()
    for i, line in enumerate(lines):
        tokens = t.tokenize(line)
        for token in tokens:
            base_form = token.base_form
            if (base_form == word):
                #見つかった場合
                if i==0:
                    lines_including.append(line+lines[i+1])
                elif i==len(lines)-1:
                    lines_including.append(lines[i-1]+line)
                else:
                    lines_including.append(lines[i-1]+line+lines[i+1])
                return lines_including, True      
    return lines_including, False


#対象の単語が含まれる付近の分をリストに格納
lines_including = []
#対象の単語が含まれる曲番号を順に格納
index_including = []
#対象の単語
word = "笑う"

for i, lyric in enumerate(lyrics):
    lines_including, found = pickup(lyric, word, lines_including)
    if found:
        index_including.append(i)

#ベクトル化した結果を格納
vecs_including = np.array([])
t = Tokenizer()

#文書のベクトル化
for line_including in lines_including:
    token_including = t.tokenize(line_including, wakati=True)
    if len(vecs_including) == 0:
        vecs_including = np.array([model.infer_vector(token_including)])
    else:
        vecs_including = np.append(vecs_including, np.array([model.infer_vector(token_including)]), axis=0)

from sklearn.cluster import KMeans

#いくつのグループに分けるか
groups = len(vecs_including)//8
#学習
km = KMeans(n_clusters=groups, max_iter=500, tol=1e-10)
#それぞれのベクトルの分類先のグループのIDを配列に格納
group_id = km.fit_predict(vecs_including)

#それぞれのグループの分散を求める
vars_including = []
for i in range(groups):
    vars_including.append(np.linalg.norm(np.var(vecs_including[group_id==i], axis = 0)))
    
#分散が小さい順になるようにインデックスをソート
vars_argsort = np.argsort(vars_including)

i=0
#表示されるグループのID
group_shown = 0

while(True):
    #曲が1つか2つしかグループに含まれていない場合は飛ばす
    if np.sum(group_id==vars_argsort[i]) > 2:
        group_shown = vars_argsort[i]
        break
    else:
        i+=1
    if i == groups:
        print("error.")
        break
    
for i in range(len(group_id)):
    if group_id[i]==group_shown:
        print(songs[index_including[i]], artists[index_including[i]])
        print(lines_including[i])
        print()

君はロックを聴かない あいみょん
君は気づくのかい？なぜ今笑うんだい？嘘みたいに泳ぐ目

ピースサイン 米津玄師
口をついて叫んだあの日から変わっていく僕を笑えばいい独りが怖い僕を

真赤 My Hair is Bad
なぜか甘えてしまう格好つかないよなって笑ってた合鍵を返して

サザンカ SEKAI NO OWARI
思い出して つまずいたならいつだって物語の主人公は笑われる方だ人を笑う方じゃないと僕は思うんだよ

君に届け flumpool
その小さな手も上手く笑えない君が 笑えばあの日見た夢がまた一つ 叶う

僕の名前を back number
いらない思い出だらけの僕の頭を君は笑って抱きしめてくれた今 君の手を握って出来るだけ目を見て

手紙 back number
離れていても守られているんだあなたはずっと手を振って笑ってくれた帰り道迷わないように

アイラブユー 西野カナ
あたりまえに今日も隣で笑ってるけどやっぱり私はキミでよかった

愛をこめて花束を Superfly
理由なんて訊かないでよね今だけすべて忘れて 笑わないで受けとめて照れていないで

幻 My Hair is Bad
昨日見た夢のことずっと思い出してるあの日みたいに笑ってたあの時みたいに話してた

・今勝ち上がるためのお勉強 朗らかな表情踊る阿呆に見る阿呆 我らそれを端から笑う阿呆デカイ自意識抱え込んではもう 磨耗 すり減って残る酸っぱい葡萄  （LOSER　米津玄師）
・ねぇね 千賀は (ねぇね！) 化粧水な 11本は多すぎ！ヘマしても笑ってLet's go！ Come on！ Come on！ Hey！キタ ガヤ タマ ヨコ ミヤ ニカ セン  （We are キスマイ！　Kis-my-Ft2）

ブルースカイ ブルー 西城秀樹
おそれなどまるで感じないではげしさが愛と信じた立ちどまることも許さずに

キセキ GReeeeN
君に巡り合えた それって『奇跡』2人寄り添って歩いて 永久の愛を形にしていつまでも君の横で 笑っていたくて

ゴーゴー幽霊船 米津玄師
今日も映画みたいな夢うつつ愛も絶え絶えの景色だそこでどんな夢見てもしょうがない

MAD HEAD LOVE 米津玄師
どんどろりんと言葉が溶けていくもう愛から愛へ愛されて愛まで脳みそ全部そんな感じ

さよならエレジー 菅田将暉
はじめてのキスを繰り返して欲しくて愛が僕に噛みついて 離さないと言うけれどさみしさのカタチは変わらないみたいだ

StaRt Mrs. GREEN APPLE
幸せな時間をどれだけ過ごせるかは…微々たるものでも愛に気づけるか。さあ 試されよう

愛をこめて花束を Superfly
ここに来られて本当に良かったわこの込み上がる気持ちが愛じゃないなら何が愛かわからないほど

二人セゾン 欅坂46
見過ごしちゃもったいない愛を拒否しないで君はセゾン

ガラスを割れ！ 欅坂46
(OH OH OH OH OH…)愛の鎖引きちぎれよ歯向かうなら背中向けるな

I NEED U (Japanese Ver.) BTS (防弾少年団)
Girl, いっそ、いっそ教えて欲しいよGirl, 君と、君との愛が終わりと oh僕には出来ないよ

ハナウタ [ALEXANDROS]×最果タヒ
痛みだけが指にふれる愛おしさばかり打ち寄せだれにも触れたくないのに

サヨナラの意味 乃木坂46
守りたかった愛に代わるもの電車が通過する

魔法って言っていいかな？ 平井堅
最後は君が背中をさすってくれたね愛という曖昧なものに君はその指で輪郭を描いてくれた

One Love 嵐
それぞれ描く 幸せのかたちは重なり今 大きな愛になるずっと二人で 生きてゆこう

遥か GReeeeN
「誰かに嘘をつくような人に なってくれるな」 父の願いと「傷ついたって 笑い飛ばして 傷つけるより全然いいね」 母の愛あの空 流れる雲 思い出す あの頃の僕は