ウインドウ表示やデータ更新の方法が普通のやり方に沿っていないだけなので、どちらかのウインドウをクローズボックス(右上の×)クリックでクローズしたら、両方同時にクローズしたいとかでない限り、特にイベントを意識する必要は無さそうです。

それから使われている`GraphicsWindow()`メソッドですが、最新の仕様では`DEPRECATED`(非推奨)になっているので、見直した方が良いでしょう。
[Deprecated Window Classes](https://pyqtgraph.readthedocs.io/en/latest/graphicswindow.html)

--------

質問のソースの問題は、以下2点になるでしょう。

1. `MAIN PROGRAM`とコメントされている`while True: update()`による無限ループは、正しい使われ方では無い。
2. `END QtApp`とコメントされている部分がPyQt本来のメッセージループだが、上記無限ループのために実行されていない。また実行されたとしても呼び方がおかしい。

--------

修正の参考になるのはこちらの記事です。
[Python/pyqtgraphのインストールとサンプル起動方法](https://watlab-blog.com/2019/10/20/pyqtgraph-install/)
[Pythonのpyqtgraphを使う](https://qiita.com/kai0706/items/612d21122bb15789144c)

修正するポイントは以下3点です。(3つ目はどちらでも良い)

1. シリアルポート読み取りおよびグラフ更新処理はインターバルタイマを設定して、そこから呼び出す。
2. PyQt通常のイベントループ処理を正しく呼び出す。
3. `update()`の最後の`processEvents()`は有っても動くが意味は無いので外しておく。

これにより、表示されているウインドウを両方ともクローズすれば、プログラムも終了してコマンドプロンプトに戻ってきます。(確認はJupyterNotebookでは無く、素のPythonでやっています)

--------

以下の`##■`でコメントした所が変更点です。

```
from numpy import *
from pyqtgraph.Qt import QtGui, QtCore
import pyqtgraph as pg
import serial
import random

# Create object serial port
portName = "COM6"                     
baudrate = 115200
ser = serial.Serial(portName,baudrate)

### START QtApp #####
app = QtGui.QApplication([])            # you MUST do this once (initialize things)
####################

win1 = pg.GraphicsWindow(title="Signal from serial port") # creates a window
win2 = pg.GraphicsWindow(title = "signal calculation")
p1 = win1.addPlot(title="Realtime plot")  # creates empty space for the plot in the window
p2 = win2.addPlot(title="inference")
curve1 = p1.plot()                        # create an empty "plot" (a curve to plot)
curve2 = p2.plot()

windowWidth = 500                       # width of the window displaying the curve
#0を500個作成(Xm)
Xm = linspace(0,0,windowWidth)          # create array that will contain the relevant time series 
Ym = linspace(0,0,windowWidth)
Zm = linspace(0,0,windowWidth)
ptr = -windowWidth                      # set first x position

# Realtime data plot. Each time this function is called, the data display is updated
def update():
    global curve, ptr, Xm ,Ym
        
    Xm[:-1] = Xm[1:]                      # shift data in the temporal mean 1 sample left
    Ym[:-1] = Ym[1:]
    Zm[:-1] = Zm[1:]
    volt = ser.readline().rstrip()   # シリアル通信で受け取った情報(文字列)を改行コードがくるまで代入します。byte型で得る
    volt = volt.decode()
    volt = float(volt)
    Xm[-1] = volt                # vector containing the instantaneous values  
    Ym[-1] = volt
    ptr += 1                              # update x position for displaying the curve
    curve1.setData(Xm)                     # set the curve with this data
    curve1.setPos(ptr,0)                   # set x position in the graph to 0
    x = Ym[len(Ym)-131:len(Ym)-1]       #適当な関数で変換
    k = cal(x)
    Zm[-1] = k
    curve2.setData(Zm)
    curve2.setPos(ptr,0)
    ##■ コメントアウト QtGui.QApplication.processEvents()    # you MUST process the plot now

### MAIN PROGRAM #####    
# this is a brutal infinite loop calling your realtime data plot
##■ while True: update() #### 無限ループは削除

### END QtApp ####
##■ pg.QtGui.QApplication.exec_() # you MUST put this at the end #### 以下へ移動
##################

##■ PyQt 通常の呼び出し方法
if __name__ == '__main__':
    import sys
    
    ##■ シリアルポート読み取りおよびグラフ更新処理のインターバルタイマー設定
    timer = QtCore.QTimer()
    timer.timeout.connect(update)
    timer.start(30) ##■ インターバルはシリアルポートの読み取り間隔に合わせて調整する
    
    ##■ PyQt イベントループ実行
    if (sys.flags.interactive != 1) or not hasattr(QtCore, 'PYQT_VERSION'):
        QtGui.QApplication.instance().exec_()
```