あまりきれいなコードではありませんが、cornerRadius
を利用する場合のサンプルです。
layer.cornerRadius = 10.0;
layer.masksToBounds = YES;
// Layerのboundsをビデオのサイズに合わせる
CGSize videoSize = [[[_videoPlayer.currentItem.asset tracksWithMediaType:AVMediaTypeVideo] objectAtIndex:0] naturalSize];
CGRect bounds = layer.bounds;
bounds.size = CGSizeMake(bounds.size.width, bounds.size.width * (videoSize.height / videoSize.width));
layer.bounds = bounds;