機器のログを取得し、CSV化しようとしましたが、ログが100万行程度あり、VBAでは全件表示できず、処理できない状態です。
そこで、pythonでログをCSV化しようとしておりますが、以下2点をどの様にすればよいのか全く分からない状況です。
<分からないこと>
①dataコマンドで表示した日時をID、MAC Addressなどの列の左側に追記したい
②ID、MAC Addressなどのヘッダーがコマンドを実行する度に表示されるので、CSV化する場合は、一番最初だけにしたい
③CSV化するにあたり、date、wlc# show ap-discovered、 Discovered APs and Stations(4249 entries)など不要な
コマンド等は削除したい
<記載したコード>
sample.py
file_name = "C:/Work/before.log"
with open(file_name, 'r', encoding='shift-jis') as f:
lines = f.readlines()
for line in lines:
newlines = line.split()
print(newlines)
<その他>
before.log→機器から出力したログ(100万行程度ですが、数行だけ掲載しております)
after.csv→before.logを加工し、実現したい形式
before.log
date
Tue Nov 11 00:00:00 JST 2022
wlc# show ap-discovered
ID MAC Address Type Channel Confirmed-Channel SSID BSSID Last Previous Current Pkts Rx RF Band Name
40 aa:bb:cc:dd:ee:ff AP 6 6 samplesamplesample 11:22:33:44:55:66 00d:00h:00m:00s 0 -77 313382 802.11gn AP1
40 gg:hh:ii:jj:kk:ll AP 6 7 samplesamplesample 22:33:44:55:66:77 00d:00h:00m:01s 0 -75 2840 802.11gn AP2
Discovered APs and Stations(4249 entries)
date
Tue Nov 11 00:05:00 JST 2022
wlc# show ap-discovered
ID MAC Address Type Channel Confirmed-Channel SSID BSSID Last Previous Current Pkts Rx RF Band Name
40 aa:bb:cc:dd:ee:ff AP 6 6 samplesamplesample 11:22:33:44:55:66 00d:00h:00m:00s 0 -77 313382 802.11gn AP1
40 gg:hh:ii:jj:kk:ll AP 6 7 samplesamplesample 22:33:44:55:66:77 00d:00h:00m:01s 0 -75 2840 802.11gn AP2
date
Tue Nov 11 00:10:00 JST 2022
wlc# show ap-discovered
ID MAC Address Type Channel Confirmed-Channel SSID BSSID Last Previous Current Pkts Rx RF Band Name
40 aa:bb:cc:dd:ee:ff AP 6 6 samplesamplesample 11:22:33:44:55:66 00d:00h:00m:00s 0 -77 313382 802.11gn AP1
40 gg:hh:ii:jj:kk:ll AP 6 7 samplesamplesample 22:33:44:55:66:77 00d:00h:00m:01s 0 -75 2840 802.11gn AP2
Discovered APs and Stations(4249 entries)
after.csv
Day,Month,Date,Time,ID,MAC Address,Type,Channel,Confirmed-Channel,SSID,BSSID,Last,Previous,Current,Pkts,Rx,RF,Band,Name
Tue,Nov,11,00:00:00,40,aa:bb:cc:dd:ee:ff,AP,6,6,samplesamplesample,11:22:33:44:55:66,00d:00h:00m:00s,0,-77,313382,802.11gn,AP1
Tue,Nov,11,00:00:00,40,gg:hh:ii:jj:kk:ll,AP,6,6,samplesamplesample,22:33:44:55:66:77,00d:00h:00m:00s,0,-77,313382,802.11gn,AP2
Tue,Nov,11,00:05:00,40,aa:bb:cc:dd:ee:ff,AP,6,6,samplesamplesample,11:22:33:44:55:66,00d:00h:00m:00s,0,-77,313382,802.11gn,AP1
Tue,Nov,11,00:05:00,40,gg:hh:ii:jj:kk:ll,AP,6,6,samplesamplesample,22:33:44:55:66:77,00d:00h:00m:00s,0,-77,313382,802.11gn,AP2
コード例をご提示いただき、ご教示いただけると助かります。
追記
file_name = "C:/Work/before.log"
# 追記
out = open('output.txt','w')
with open(file_name, 'r', encoding='shift-jis') as f:
# lines = f.readlines()
print('Day,Month,Date,Time,ID,MAC Address,Type,Channel,Confirmed-Channel,SSID,BSSID,Last,Previous,Current,Pkts,Rx,RF,Band,Name')
# Fileを1行ずつ読む
line = f.readline()
while line:
# date 行だったら次の行を読んで4列だけ取得してカンマでつないで date_csv 変数に記憶
if line.startswith('date'):
line = f.readline()
date = line.split()[:4]
date_csv = ','.join(date) + ','
# 数字から始まってたら記憶した date_csv とその行を , つなぎにしてものを1行で出力
if line[0] >= '0' and line[0] <= '9':
# print(date_csv + ','.join(line.split()))
print(date_csv + ','.join(line.split()))
line = f.readline()
# 追記↓
out.write(line + "\n")
# 追記↓
out.close()
out.txt出力結果
wlc# show ap-discovered
ID MAC Address Type Channel Confirmed-Channel SSID BSSID Last Previous Current Pkts Rx RF Band Name
40 aa:bb:cc:dd:ee:ff AP 6 6 samplesamplesample 11:22:33:44:55:66 00d:00h:00m:00s 0 -77 313382 802.11gn AP1
40 gg:hh:ii:jj:kk:ll AP 6 7 samplesamplesample 22:33:44:55:66:77 00d:00h:00m:01s 0 -75 2840 802.11gn AP2
date
wlc# show ap-discovered
ID MAC Address Type Channel Confirmed-Channel SSID BSSID Last Previous Current Pkts Rx RF Band Name
40 aa:bb:cc:dd:ee:ff AP 6 6 samplesamplesample 11:22:33:44:55:66 00d:00h:00m:00s 0 -77 313382 802.11gn AP1
40 gg:hh:ii:jj:kk:ll AP 6 7 samplesamplesample 22:33:44:55:66:77 00d:00h:00m:01s 0 -75 2840 802.11gn AP2
date