デクリメントのほうなんですけど、整数値が環状に並んでいるというイメージをしてください。(下図)
![画像の説明をここに入力][1]
2戻るということは、3進むのと同じです。これを、一般化して表現すると、increment**戻る**ということは、range.length - increment**進む**とおなじであることに気づくはずです。さらに厳密に表現すると、range.length - increment % range.length進むと同じです。これをそのままインクリメント(increment > 0)のときの式に代入してやります。具体的にコードにすると、こうなります。

    #import <Foundation/Foundation.h>
    
    NSUInteger NSRangeIncrementLocationInRange(NSInteger location, NSInteger increment, NSRange range) {
        NSUInteger result;
        // locationがrangeの範囲外なら、NSNotFoundを返す。
        if (!NSLocationInRange(location, range)) return NSNotFound;
        if (increment > 0) { // incrementが正数の場合。
            result = (location - range.location + (NSUInteger)increment) % range.length + range.location;
        } else if (increment == 0) { // incrementが0の場合、locationをそのまま返す。
            result = location;
        } else { // incrementが負数の場合。range.lengthとincrementの差を、locationに加えるという計算をする。
            result = (location - range.location + (NSUInteger)((NSInteger)range.length + increment % (NSInteger)range.length)) % range.length + range.location;
    // ((NSInteger)range.length + increment)) % range.length + range.location; 修正しました。
        }
        
        return result;
    }
    
    int main(int argc, const char * argv[]) {
        @autoreleasepool {
            NSUInteger inc = NSRangeIncrementLocationInRange(5, -8, NSMakeRange(4, 5));
            NSLog(@"Result = %ld", inc);
        }
        return 0;
    }

編集しました。
引数incrementの型を、NSUIntegerからNSIntegerに変えました。きわめて初歩的な間違いですね。ご容赦。暗黙的に型キャストしてくれるであろう箇所も、明示的に型キャストしました。

二度目の編集をしました。負の向きに1巡以上するincrementで、正しい結果にならないという指摘を受けて、修正しました。
「increment**戻る**ということは、range.length - increment**進む**とおなじ」を、
「increment**戻る**ということは、range.length - increment % range.length**進む**とおなじ」に変更しました。

三度目の編集をしました。
「整数値を環状に並べる」を、図にして、わかりやすくしました。


  [1]: https://i.sstatic.net/CMrdv.png