そのpullして分岐してしまったコミットツリーに関しては、質問者さんのおっしゃる方法でやり直すのがよいかと思います。
そもそもこのような場合にツリーが分岐するのを避けるには、git rebase
が使用可能です。詳しい使い方は質問者さんのほうで調べるのがよろしいかと思いますが、
git push
しようとして怒られた場合は、pullせずにまずgit fetch
によりorigin/masterを取得します。
そして、自分がmasterブランチにいる状態でgit rebase origin/master
とすることにより、他者がmasterブランチ上で行った変更に対して自分の変更をまっすぐに追加することができます。