Pythonで国会議事録から、話題の政治ワードを抽出してみた

import urllib
import untangle
import urllib.parse

if __name__ == '__main__':
    start='1'#発言の通し番号
    while start!=None:
        keyword = '安倍晋三'
        startdate='2017-01-01'
        enddate= '2018-01-01'
        meeting='予算委員会'
        #urllib.parse.quoteが日本語をコーディングしてくれる
        url = 'http://kokkai.ndl.go.jp/api/1.0/speech?'+urllib.parse.quote('startRecord='+ start
        + '&maximumRecords=100&speaker='+ keyword
        + '&nameOfMeeting='+ meeting
        + '&from=' + startdate
        + '&until='+ enddate)
        #Get信号のリクエストの検索結果（XML）
        obj = untangle.parse(url)

        for record in obj.data.records.record:
            speechrecord = record.recordData.speechRecord
            print(speechrecord.date.cdata,
                speechrecord.speech.cdata)

            file=open('abe_2017.txt','a')
            file.write(speechrecord.speech.cdata)
            file.close()
            #一度に１００件しか帰ってこないので、開始位置を変更して繰り返しGET関数を送信
        start=obj.data.nextRecordPosition.cdata

# coding: utf-8
import MeCab
from collections import Counter
import matplotlib.pyplot as plt
from matplotlib.font_manager import FontProperties
import slothLib
import urllib3

fname = 'abe.txt'
fname_parsed = 'abe.txt.mecab'


def to_mecab():
    '''「fname」を形態素解析して[fname_parsed]に保存する
    '''

    with open(fname) as data_file, \
            open(fname_parsed, mode='w') as out_file:

        mecab = MeCab.Tagger('-d /var/lib/mecab/dic/mecab-ipadic-neologd')
        out_file.write(mecab.parse(data_file.read()))


def make_lines():
    '''
    各形態素を
    ・表層形（surface）
    ・基本形（base）
    ・品詞（pos）
    ・品詞細分類1（pos1）
    の4つをキーとする辞書に格納し、1文ずつ、この辞書のリストとして返す

    戻り値：
    1文の各形態素を辞書化したリスト
    '''
    with open(fname_parsed) as file_parsed:

        morphemes = []
        for line in file_parsed:

            # 表層形はtab区切り、それ以外は','区切りでバラす
            cols = line.split('\t')
            if(len(cols) < 2):
                raise StopIteration     # 区切りがなければ終了
            res_cols = cols[1].split(',')

            # 辞書作成、リストに追加
            morpheme = {
                'surface': cols[0],
                'base': res_cols[6],
                'pos': res_cols[0],
                'pos1': res_cols[1]
            }
            morphemes.append(morpheme)

            # 品詞細分類1が'句点'なら文の終わりと判定
            if res_cols[1] == '句点':
                yield morphemes
                morphemes = []

{'base': 'ミサイル', 'surface': 'ミサイル', 'pos': '名詞', 'pos1': '一般'}
{'base': '攻撃', 'surface': '攻撃', 'pos': '名詞', 'pos1': 'サ変接続'}
{'base': '等', 'surface': '等', 'pos': '名詞', 'pos1': '接尾'}
{'base': 'の', 'surface': 'の', 'pos': '助詞', 'pos1': '連体化'}
{'base': '際', 'surface': '際', 'pos': '名詞', 'pos1': '非自立'}
{'base': 'の', 'surface': 'の', 'pos': '助詞', 'pos1': '連体化'}

def sloth():
    import urllib3
    from bs4 import BeautifulSoup

    slothlib_path = 'http://svn.sourceforge.jp/svnroot/slothlib/CSharp/Version1/SlothLib/NLP/Filter/StopWord/word/Japanese.txt'
    http = urllib3.PoolManager()
    #↑urlib3系のおまじない
    slothlib_file =http.request('GET',slothlib_path)
    soup=BeautifulSoup(slothlib_file.data,'lxml')
    soup=str(soup).split()#soupは文字列じゃないので注意
    #SlothLibに存在しないストップワードを自分で追加↓
    mydict=['いる','内閣総理大臣','おり','ない','あり','ある','いく','なっ','する','あっ']
    soup.extend(mydict)
    return soup

# 形態素解析
to_mecab()
#ストップワードよみこみ
stop_word=slothLib.sloth()
# Counterオブジェクトに単語をセット
word_counter = Counter()
for line in make_lines():
    for morpheme in line:
        if morpheme['pos'] == '動詞' or morpheme['pos'] == '名詞' or morpheme['pos'] == '形容詞':
            if len(morpheme['surface'])>3:
                if not morpheme['surface'] in stop_word:
                #リストに入れないと、１文字づつカウントしてしまう
                    word_counter.update([morpheme['surface']])
# 頻度上位30語の取得
size = 30
#ｓｉｚｅの数だけ、上位の単語を表示する
list_word = word_counter.most_common(size)
print(list_word)

# 単語（x軸用）と出現数（y軸用）のリストに分解
list_zipped = list(zip(*list_word))
words = list_zipped[0]
counts = list_zipped[1]

# グラフで使うフォント情報(デフォルトのままでは日本語が表示できない)
fp = FontProperties(
    fname='/usr/share/fonts/truetype/takao-gothic/TakaoGothic.ttf'
)

# 棒グラフのデータ指定
plt.bar(
    range(0, size),     # x軸の値（0,1,2...9）
    counts,             # それに対応するy軸の値
    align='center'      # x軸における棒グラフの表示位置
)

# x軸のラベルの指定
plt.xticks(
    range(0, size),     # x軸の値（0,1,2...
    words,              # それに対応するラベル
    fontproperties=fp   # 使うフォント情報
)

# x軸の値の範囲の調整
plt.xlim(
    xmin=-1, xmax=size  # -1〜10（左右に1の余裕を持たせて見栄え良く）
)

# グラフのタイトル、ラベル指定
plt.title(
    '37. 頻度上位30語',    # タイトル
    fontproperties=fp   # 使うフォント情報
)
plt.xlabel(
    '出現頻度が高い30語',# x軸ラベル
    fontproperties=fp   # 使うフォント情報
)
plt.ylabel(
    '出現頻度',         # y軸ラベル
    fontproperties=fp   # 使うフォント情報
)

# グリッドを表示
plt.grid(axis='y')

# 表示
plt.show()

to_mecab('/home/share/idf/abe_1.txt','/home/share/idf/abe_1.txt.mecab')
copus=[]
word_counter = Counter()
for line in make_lines('/home/share/idf/abe_1.txt.mecab'):
    for morpheme in line:
        if morpheme['pos'] == '名詞':
            if len(morpheme['surface'])>2:
                if not morpheme['surface'] in stop_word:
                    word_counter.update([morpheme['surface']])
                    copus.append(morpheme['surface'])
                    copus.append(' ')

#ストップワードを除く3文字以上の名詞が全て格納される
#joinにより、一つなぎの文字列になる
a=''.join(copus)    

import numpy as np
from sklearn.feature_extraction.text import CountVectorizer

#カウンターを定義
count=CountVectorizer()
#各文書をarray型に代入する
docs=np.array([a,b,c])

bag=count.fit_transform(docs)

#各単語の出現回数を表示
print(count.vocabulary_)

#各単語の出現回数を、疎な特徴ベクトルとして出力
print(bag.toarray())

{'ｔｈａａｄ': 4225, '教育再生実行会議': 2721, 'テーマ': 637, '機密情報': 3030, '保育士': 1482, '君たち': 1950, 'あずかり': 3, '締めくくり': 3539, 'スター': 546, 'ノドンミサイル': 702, '北東アジア': 1758, '長時間労働': 3965, '二十三年': 1298, '輸出企業': 3841, 'クリーン': 425, '在宅医療': 2123, '獣医師会': 3212, '不規則': 1179, '昨年末': 2872, 'グループ': 434, '知ったか': 3342, '手持ち': 2635, '相対的貧困率': 3323, '東北地方': 2968, '一万三千人': 1036, 'ポスト': 879, '新潟県': 2766, 'アフガン': 271, '五年間': 1374, '佐々木': 1465, '三十万円': 1118, '労働力人口': 1719, 'シークレットサービス': 523, 'パチンコ': 746

[[  1   1   1 ... 302  33  13]
 [  0   0   0 ...   0   0   0]
 [  0   0   0 ...  13   0   0]]

from sklearn.feature_extraction.text import TfidfTransformer

#tfidfを実装する
'''
use_idf...Falseにすると、dfのみで出力する
norm...正則化の手法。ベクトルの長さが１になる
smooth_idf…idfの計算式が変わる。Faluseにするとlogの後ろの+1がなくなる

'''
tfidf=TfidfTransformer(use_idf=True,norm='l2',smooth_idf=True)

#arrayの出力を成型する（小数点第2位まで）
np.set_printoptions(precision=2)

#tfdifでdocsを変換したのち、array型に変換し出力する
print(tfidf.fit_transform(count.fit_transform(docs)).toarray())

from sklearn.feature_extraction.text import TfidfTransformer
tfidf=TfidfTransformer(use_idf=True,norm='l2',smooth_idf=True)
np.set_printoptions(precision=2)

features = count.get_feature_names()

ans=tfidf.fit_transform(count.fit_transform(docs))
#出力をarray型にする
ans_array=tfidf.fit_transform(count.fit_transform(docs)).toarray()

data={
#単語名
"index":features,
#各文書の各単語のTF-IDF値
"num1":ans_array[0],
"num2":ans_array[1],
"num3":ans_array[2]
}
df=pd.DataFrame(data)
df.to_excel('/home/share/idf/sample.xlsx', sheet_name='abe_2017')