変化が激しい分野なので、この回答がいつまで有益かはわかりませんが、ご参考までに。(識者のツッコミも歓迎します)
プログラムの中身的には、CPUのみとCPU+GPUを比べると大きく変化します。
ライブラリから呼び出している場合はあまり意識することがありませんが、内部処理はかなり異なります。
一般的なGPUを併用する場合、高速化のために「データをまとめて転送する」ということが発生します。
装置自体が異なるので、その装置間でのデータ通信にかかる時間が無視できないレベルになるためです。
また、GPUは動作の仕組みそのものが異なる装置であるため、CPUほど汎用的な計算力を持つわけではありません。ひたすら同じような計算をさせるのに特化しています。
これがどういうことかというと、実行するプログラムや利用するデータ(特にデータ量)次第では、CPUのみの方が高速に動作するということです。
CPUでやるべき計算があり、その計算量が多いとGPUを使うメリットはほぼありません。
GPUは、GPUが得意とする計算部分にのみ使われるのが普通です。
だから、計算結果も基本的に変わらないんです。どちらにしても必要な箇所でCPUも使ってるので。(装置の不具合やバグなどは除きますが)
また、計算するデータ量が少ないと、転送にかかる時間の方が問題となってしまいます。これもGPUを使うメリットが無くなり、デメリットの方が大きくなります。
これは逆に、データ量がGPUのメモリより大きいと、プログラムによってはそもそも計算出来なくなるということも意味します。
つまり、
GPU搭載のPCと非搭載のPCでそれぞれ同じ学習をさせた場合、その結果は正当に比較対象として見ていいものなのか
を考える場合、学習過程でCPUのみが全て正常な結果で、CPU+GPUの結果がエラーを含んでいる場合は比較対象にはならないケースも存在するかなと思います。これをバグと捉えるか、プログラムや装置の仕様と捉えるかは議論の余地がありますが。。。