Twitterからデータセットを作るfor機械学習

import pandas as pd
import codecs

with codecs.open("data0.csv", "r", "Shift-JIS", "ignore") as file:
df =pd.read_table(file, delimiter=",")

df

import codecs

def YmdHMS2(d_time):#日時を数字の列に直す関数
    n_time = time.strptime(d_time, '%Y/%m/%d %H:%M:%S')
    return int(time.strftime("%Y%m%d%H%M%S", n_time))

a_df = []
list = [1,3,4,6,7,9,10]#要らない列番号

for i in range(3):#三個ファイルを開き、それぞれの列を整理する
    with codecs.open("data{}.csv".format(i), "r", "Shift-JIS", "ignore") as file:
        b_df =pd.read_table(file, delimiter=",")
        
    b_df = b_df.drop([0,1,2,3])
    for i in list:#要らない列を削除
        b_df = b_df.drop(['Unnamed: {}'.format(i)],axis=1)
    b_df.columns = ['time','rain','humidity','puressur']
    b_df = b_df.reset_index(drop=True)

    a_df.append(b_df)

df = pd.concat([a_df[2],a_df[1],a_df[0]], ignore_index=True)#3つのDataFrameを結合
for i in df.index:
    df.time[i] = YmdHMS2(df.time[i])
df

# -*- coding: utf-8 -*-

from requests_oauthlib import OAuth1Session
import json
import datetime, time, sys, calendar
import pandas as pd

CK = '##############################'                             # Consumer Key 自分のものを入力
CS = '##################################################'         # Consumer Secret
AT = '##########################################################' # Access Token
AS = '##################################################'         # Accesss Token Secert

session = OAuth1Session(CK, CS, AT, AS)
max_id = 891290216417210368#取得を始めるツイートのid。ツイートへのリンクの末尾の長い数字
res_text = []

N = 40 # Nx100個のツイートを取得(50くらいからエラーになる？仕様は調べてません)
line = "東横線" # 調べる路線
 
url = 'https://api.twitter.com/1.1/statuses/user_timeline.json'

def YmdHMS(created_at):#分以下の情報を切り捨てて数字の列に変換する関数
    time_utc = time.strptime(created_at, '%a %b %d %H:%M:%S +0000 %Y')
    unix_time = calendar.timegm(time_utc)
    time_local = time.localtime(unix_time)
    return int(time.strftime("%Y%m%d%H00", time_local))

for i in range(N):
    res = session.get(url, params = {'user_id':1199983754, 'count':100, 'max_id':max_id})
    res_text_semi = json.loads(res.text)　
  
    if res.status_code != 200:# ステータスコード確認
        print ("Twitter API Error: %d" % res.status_code)
        sys.exit(1)
    
    for tweet in res_text_semi:#今回取得した最古のツイートのid取得
        if tweet['id'] < max_id:
            max_id = tweet['id']

    res_text.extend(res_text_semi)


df1 = pd.DataFrame(columns=["time","delay"])

    
for tweet in reversed(res_text):
    if tweet['text'].find('遅れ') != -1 and tweet['text'].find(line) != -1:#遅れていたらdelayを1にする。
        delay = 1
    else:
        delay = 0
        
    t_df = pd.DataFrame([[YmdHMS(tweet['created_at']),delay]],columns=["time","delay"])
    df1 = df1.append(t_df,ignore_index = True)


df1 = df1.drop_duplicates(['time'])#時間が重複している行を削除
df1

merged = pd.merge(df,df1,on='time',how='left')#時間をキーに気象データを残す形で結合
flag = False #遅延状態かのフラグ

for i in merged.index:
    if merged.delay[i] == 1:
        flag = True
    elif merged.delay[i] == 0:
        flag = False
    else:
        if flag == True:
            merged.delay[i] = 1
        else:
            merged.delay[i] = 0            

merged.to_csv('delay_data.csv')