0

40分ほどの動画に対してOptical Flowを計算し、動きの量をcsvに出力したいと思っています。
大体理想の動きをしてくれるコードは完成したのですが、何故かプログラムが毎回25分ぐらいのタイミングで終了してしまい、最後まで計算してくれません。
エラーを吐いているわけでもなく、プログラム自体は正常に終了しているため原因が皆目見当もつかない状態です。
何か原因があるのか、それとも単純にPCのスペックが足りていないだけなのか、分かる方がいましたら教えて下さると助かります。
よろしくお願いします。

import cv2
import numpy as np
import os
import pandas as pd

cap = cv2.VideoCapture("/test.mp4")

def drawOpticalFlow(frame2, flow, step):
    h, w = frame2.shape[:2]
    x, y = np.mgrid[0:w:step, 0:h:step].reshape(2, -1).astype(np.int32)
    dx, dy = flow[y, x].T
    dist = np.sqrt(dx**2 + dy**2)
    return np.nanmax(dist),np.average(dist)#, np.average(dx), np.average(dy)

#動画サイズ取得
width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
#フレームレート取得
fps = cap.get(cv2.CAP_PROP_FPS)

ret, frame1 = cap.read()
frame1 = cv2.resize(frame1, (960, 540))
prvs = cv2.cvtColor(frame1,cv2.COLOR_BGR2GRAY)
frame_num=0
col_list = ["time[min]", "max_movement[pixel]", "ave_movement[pixel]","max_movement-ave_movement[pixel]","max_movement/ave_movement[%]"]
df = pd.DataFrame(columns = col_list)
list_data = df.to_numpy().tolist()
#df.set_index("time[sec]", inplace = True)

while(1):
    ret, frame2 = cap.read()
    if ret == False:
        break
    frame2 = cv2.resize(frame2, (960, 540))
    next = cv2.cvtColor(frame2,cv2.COLOR_BGR2GRAY)
 
    flow = cv2.calcOpticalFlowFarneback(prvs,next, None, 0.5, 3, 15, 3, 5, 1.2, 0)
   # オプティカルフロー処理
    max_movement, ave_movement = drawOpticalFlow(frame2, flow, 16)

    list_data.append([f"{(frame_num/fps)/60}",f"{max_movement}", f"{ave_movement}",f"{max_movement-ave_movement}",f"{max_movement/ave_movement}"])

    prvs = next
    frame_num=frame_num+1

df = pd.DataFrame(list_data,columns = col_list)

cap.release()
print(df)
df.to_csv("/test.csv")

1 件の回答 1

1

まずは何が起こっているか情報を集めるのはどうでしょうか?

出力ファイル

プログラム自体は正常に終了しているとのことですが、/test.csvは保存してから終了していますか?また、その中身は全ての値が正常値ですか?途中までの処理結果だけが記録されているのでしょうか?

メモリ枯渇

whileでループ処理をしていますが、ループごとに消費メモリが蓄積していき、25分ほどループ処理を続けるとメモリが足りずに処理が終了してしまうことが考えられます。
1ループごとにメモリの使用量を記録するのはどうでしょうか?
以下はコードの一例です。
(この例ではpsutilをつかっていますが、psutilライブラリをインストールする必要があります。これはpip install psutilでインストールできます。)

import cv2
import numpy as np
import pandas as pd
import psutil  # メモリ使用量を監視するためのライブラリ
import os

cap = cv2.VideoCapture("/test.mp4")

def drawOpticalFlow(frame2, flow, step):
    h, w = frame2.shape[:2]
    x, y = np.mgrid[0:w:step, 0:h:step].reshape(2, -1).astype(np.int32)
    dx, dy = flow[y, x].T
    dist = np.sqrt(dx**2 + dy**2)
    return np.nanmax(dist), np.average(dist)

width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
fps = cap.get(cv2.CAP_PROP_FPS)

ret, frame1 = cap.read()
frame1 = cv2.resize(frame1, (960, 540))
prvs = cv2.cvtColor(frame1, cv2.COLOR_BGR2GRAY)
frame_num = 0
col_list = ["time[min]", "max_movement[pixel]", "ave_movement[pixel]", "max_movement-ave_movement[pixel]", "max_movement/ave_movement[%]"]
list_data = []

with open('/memory_usage_log.txt', 'w') as log_file:  # メモリ使用量を記録するファイル
    while True:
        ret, frame2 = cap.read()
        if not ret:
            break

        frame2 = cv2.resize(frame2, (960, 540))
        next = cv2.cvtColor(frame2, cv2.COLOR_BGR2GRAY)
        flow = cv2.calcOpticalFlowFarneback(prvs, next, None, 0.5, 3, 15, 3, 5, 1.2, 0)
        max_movement, ave_movement = drawOpticalFlow(frame2, flow, 16)

        list_data.append([(frame_num/fps)/60, max_movement, ave_movement, max_movement-ave_movement, max_movement/ave_movement])

        prvs = next
        frame_num += 1

        # メモリ使用量を記録
        process = psutil.Process(os.getpid())
        memory_usage = process.memory_info().rss / (1024 * 1024)  # MB単位で取得
        log_file.write(f"Frame {frame_num}: {memory_usage} MB\n")

df = pd.DataFrame(list_data, columns=col_list)
cap.release()
df.to_csv("/test.csv")

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。