見てみたいと言うコメントをいただいたので、回答として示させてもらいます。300行近い長いコードですが、ほぼ全面的に修正しているので全行そのまま掲載します。
その前にざっとリングバッファの説明だけ。
|<- maxSampleCount ->|
|xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx|
現在入っているデータの先頭と、次に書き込むべきデータの位置を保持することにより、このバッファの一部だけを使用していることを記録しておきます。
|<- maxSampleCount ->|
|xxxxxxx|- usingSampleCount ->|xxxxxxxxxx|
↑
startingSampleIndex
(xxxxは未使用領域。)
空いている場所に書き込むだけなら、場所をずらさずに続きに書き込んでいきます。
|<- maxSampleCount ->|
|xxxxxxx|- usingSampleCount ---->|xxxxx|
↑
startingSampleIndex
(書き込んだ分usingSampleCount
を増やす。)
もういらなくなったデータがあれば、前に詰めるのではなく、2つの情報をちょっと書き換えるだけです。
|<- maxSampleCount ->|
|xxxxxxxxxxxx|-usingSampleCount ---->|xxxxx|
-----↑
startingSampleIndex
(usingSampleCount
は減らす。startingSampleIndex
は増やす。)
領域がバッファの終端を跨いだらどうなるのか、ちょっと面倒くさくなりますが、雰囲気は掴んでもらえると思います。
以上の内容をコードにしたのがこちら。原則として元のAudioService
クラスと同じ構成になるようにしていますが、
- プロパティ名やメソッド名を見直し
NSData
をData
に変更
buffer
をUnsafeMutableRawPointer
からUnsafeMutablePointer<Int16>
に
と、リングバッファ化と合わせ中身は大幅に変わっているので、クラス名もAudioService
からMyAudioService
に変更してあります。特に「余分なデータを削除してしまう」と言う処理の必要なwriteSamples(inBuffer:)
メソッドには少し細かめのコメントをつけておいたので確認してみてください。
import Foundation
import AudioToolbox
extension Notification.Name {
static let audioServiceDidUpdateData = Notification.Name(rawValue: "AudioServiceDidUpdateDataNotification")
}
func myAudioQueueInputCallback(inUserData: UnsafeMutableRawPointer?,
inAQ: AudioQueueRef,
inBuffer: AudioQueueBufferRef,
inStartTime: UnsafePointer<AudioTimeStamp>,
inNumberPacketDescriptions: UInt32,
inPacketDescs: UnsafePointer<AudioStreamPacketDescription>?) {
let audioService: MyAudioService = Unmanaged.fromOpaque(inUserData!).takeUnretainedValue()
print(audioService)
audioService.writeSamples(inBuffer: inBuffer)
AudioQueueEnqueueBuffer(inAQ, inBuffer, 0, nil);
print("startingPacketCount: \(audioService.startingSampleIndex), maxPacketCount: \(audioService.maxSampleCount)")
//「録音がずっと止まらないように」と言うことなので、ここでは録音の停止は判定しない
}
func myAudioQueueOutputCallback(inUserData: UnsafeMutableRawPointer?,
inAQ: AudioQueueRef,
inBuffer: AudioQueueBufferRef) {
let audioService: MyAudioService = Unmanaged.fromOpaque(inUserData!).takeUnretainedValue()
audioService.readSamples(inBuffer: inBuffer)
AudioQueueEnqueueBuffer(inAQ, inBuffer, 0, nil)
print("playingSampleCount: \(audioService.playingSampleCount), maxPacketCount: \(audioService.maxSampleCount)")
if audioService.playingSampleCount == 0 {
audioService.stop()
}
}
class MyAudioService {
let buffer: UnsafeMutablePointer<Int16>
let maxSampleCount: Int
//バッファ内の有効データの開始位置
var startingSampleIndex: Int = 0
//バッファ内の有効データの数
var usingSampleCount: Int = 0
//再生中の位置
var playingSampleIndex: Int = 0
//再生用の残りデータの数
var playingSampleCount: Int = 0
var audioQueueObject: AudioQueueRef?
let numSamplesToRead: Int = 1024
let numSamplesToWrite: Int = 1024
let seconds: Int = 10 //`buffer`に格納可能な最大秒数
let sampleRate: Int = 48_000 //サンプリングレート(Hz)
let framesPerPacket: Int = 1 //Lenear PCM の場合1フレーム=1パケット
let channelsPerFrame: Int = 1 //Monoral: 1フレーム辺りのチャンネル数は1(2ch Stereoなら2とする)
let bytesPerSample: Int = MemoryLayout<Int16>.stride
let inBufferCount = 3
let outBufferCount = 3
let audioFormat: AudioStreamBasicDescription
var data: Data? {
didSet {
NotificationCenter.default.post(name: .audioServiceDidUpdateData, object: self)
}
}
init() {
let bytesPerPacket = bytesPerSample * framesPerPacket * channelsPerFrame
audioFormat = AudioStreamBasicDescription(
mSampleRate: Float64(sampleRate),
mFormatID: kAudioFormatLinearPCM,
mFormatFlags: AudioFormatFlags(kLinearPCMFormatFlagIsSignedInteger | kLinearPCMFormatFlagIsPacked),
mBytesPerPacket: UInt32(bytesPerPacket),
mFramesPerPacket: UInt32(framesPerPacket),
mBytesPerFrame: UInt32(bytesPerSample * channelsPerFrame),
mChannelsPerFrame: UInt32(channelsPerFrame),
mBitsPerChannel: UInt32(MemoryLayout<Int16>.size * 8),
mReserved: 0
)
maxSampleCount = sampleRate * seconds
//UnsafeMutablePointer使用の基本は
//allocate -> initialize -> (使用) -> deinitialize -> deallocate のAIDDカルテット
buffer = UnsafeMutablePointer.allocate(capacity: maxSampleCount)
buffer.initialize(repeating: 0, count: maxSampleCount)
}
deinit {
buffer.deinitialize(count: maxSampleCount)
buffer.deallocate()
if let audioQueueObject = audioQueueObject {
AudioQueueStop(audioQueueObject, true)
AudioQueueDispose(audioQueueObject, true)
self.audioQueueObject = nil
}
}
func startRecord() {
print(#function)
guard audioQueueObject == nil else { return }
data = nil
prepareForRecord()
let err: OSStatus = AudioQueueStart(audioQueueObject!, nil)
print("err: \(err)")
}
func stopRecord() {
print(#function, "usingSampleCount:", usingSampleCount)
//領域が途中で途切れているかもしれないので、`bytesNoCopy`など連続した領域をあてにしたイニシャライザは使えない
var data = Data(count: usingSampleCount * bytesPerSample)
data.withUnsafeMutableBytes { (dataBytes: UnsafeMutablePointer<Int16>) in
if startingSampleIndex + usingSampleCount <= maxSampleCount {
dataBytes.assign(from: buffer.advanced(by: startingSampleIndex), count: usingSampleCount)
} else {
let firstReadCount = maxSampleCount - startingSampleIndex
dataBytes.assign(from: buffer.advanced(by: startingSampleIndex), count: firstReadCount)
dataBytes.advanced(by: firstReadCount).assign(from: buffer, count: usingSampleCount - firstReadCount)
}
}
self.data = data
guard let audioQueueObject = audioQueueObject else { return }
AudioQueueStop(audioQueueObject, true)
AudioQueueDispose(audioQueueObject, true)
self.audioQueueObject = nil
}
func play() {
print(#function)
guard audioQueueObject == nil else { return }
prepareForPlay()
let err: OSStatus = AudioQueueStart(audioQueueObject!, nil)
print("err: \(err)")
}
func stop() {
print(#function)
guard let audioQueueObject = audioQueueObject else { return }
AudioQueueStop(audioQueueObject, true)
AudioQueueDispose(audioQueueObject, true)
self.audioQueueObject = nil
}
func setData(_ data: Data) {
self.data = data
var writeLen = data.count/bytesPerSample
if writeLen > maxSampleCount {writeLen = maxSampleCount}
data.withUnsafeBytes{ (dataPtr: UnsafePointer<Int16>) in
buffer.assign(from: dataPtr, count: writeLen)
}
startingSampleIndex = 0
usingSampleCount = writeLen
}
private func prepareForRecord() {
print(#function)
var audioFormat = self.audioFormat
startingSampleIndex = 0
usingSampleCount = 0
AudioQueueNewInput(&audioFormat,
myAudioQueueInputCallback,
Unmanaged.passUnretained(self).toOpaque(),
CFRunLoopGetCurrent(),
CFRunLoopMode.commonModes.rawValue,
0,
&audioQueueObject)
let bufferByteSize = numSamplesToWrite * bytesPerSample
for _ in 0..<inBufferCount {
var buffer: AudioQueueBufferRef? = nil
AudioQueueAllocateBuffer(audioQueueObject!, UInt32(bufferByteSize), &buffer)
AudioQueueEnqueueBuffer(audioQueueObject!, buffer!, 0, nil)
}
}
private func prepareForPlay() {
print(#function)
var audioFormat = self.audioFormat
AudioQueueNewOutput(&audioFormat,
myAudioQueueOutputCallback,
Unmanaged.passUnretained(self).toOpaque(),
CFRunLoopGetCurrent(),
CFRunLoopMode.commonModes.rawValue,
0,
&audioQueueObject)
playingSampleIndex = startingSampleIndex
playingSampleCount = usingSampleCount
let bufferByteSize = numSamplesToWrite * bytesPerSample
for _ in 0..<outBufferCount {
var buffer: AudioQueueBufferRef? = nil
AudioQueueAllocateBuffer(audioQueueObject!, UInt32(bufferByteSize), &buffer)
myAudioQueueOutputCallback(inUserData: Unmanaged.passUnretained(self).toOpaque(),
inAQ: audioQueueObject!,
inBuffer: buffer!)
}
}
func readSamples(inBuffer: AudioQueueBufferRef) {
print(#function)
var numSamples = playingSampleCount
if numSamples > numSamplesToRead {
numSamples = numSamplesToRead
}
if numSamples > 0 {
//outBuffer内のポインタをUnsafePointer<Int16>に変換
let outSamples = inBuffer.pointee.mAudioData.assumingMemoryBound(to: Int16.self)
if playingSampleIndex + numSamples <= maxSampleCount {
//連続して読み出せる場合
outSamples.assign(from: buffer.advanced(by: playingSampleIndex), count: numSamples)
} else {
let firstReadCount = maxSampleCount - playingSampleIndex
outSamples.assign(from: buffer.advanced(by: playingSampleIndex), count: firstReadCount)
outSamples.advanced(by: firstReadCount).assign(from: buffer, count: numSamples - firstReadCount)
}
inBuffer.pointee.mAudioDataByteSize = UInt32(bytesPerSample * numSamples)
inBuffer.pointee.mPacketDescriptionCount = UInt32(numSamples)
playingSampleIndex += numSamples
playingSampleIndex %= maxSampleCount
playingSampleCount -= numSamples
} else {
inBuffer.pointee.mAudioDataByteSize = 0
inBuffer.pointee.mPacketDescriptionCount = 0
}
}
func writeSamples(inBuffer: AudioQueueBufferRef) {
print(#function)
print("mAudioDataByteSize: \(inBuffer.pointee.mAudioDataByteSize), numPackets: \(inBuffer.pointee.mAudioDataByteSize / 2)")
//inBuffer内のポインタをUnsafePointer<Int16>に変換
var inSamples = inBuffer.pointee.mAudioData.assumingMemoryBound(to: Int16.self)
//inBuffer内の標本数を求める
var numSamples = Int(inBuffer.pointee.mAudioDataByteSize) / bytesPerSample
//はみ出す場合に古いデータを消す処理
if numSamples > maxSampleCount {
//inBuffer内の標本数がバッファの最大を超える場合、inBufferの後ろのデータを入るだけ詰め込む
inSamples = inSamples.advanced(by: numSamples - maxSampleCount)
numSamples = maxSampleCount
//バッファの中身は空にする
startingSampleIndex = 0
usingSampleCount = 0
} else if numSamples > maxSampleCount - usingSampleCount {
//inBuffer内の標本数がバッファの空き容量を超える場合
//バッファ内の古い要素は捨てる
startingSampleIndex += numSamples - (maxSampleCount - usingSampleCount)
usingSampleCount -= numSamples - (maxSampleCount - usingSampleCount)
//末尾を超えたら先頭に回す
startingSampleIndex %= maxSampleCount
}
//次に書き込むべき位置を求める
let writingSampleIndex = (startingSampleIndex + usingSampleCount) % maxSampleCount
if writingSampleIndex + numSamples <= maxSampleCount {
//全データ一気に書き込めるなら一回で終了
buffer.advanced(by: writingSampleIndex).assign(from: inSamples, count: numSamples)
} else {
//バッファの末尾までの収まる標本数を求める
let firstWriteCount = maxSampleCount - writingSampleIndex
//上で求めた標本数分だけwritingSampleIndexから書き込み
buffer.advanced(by: writingSampleIndex).assign(from: inSamples, count: firstWriteCount)
//残りを先頭に書き込む
buffer.assign(from: inSamples.advanced(by: firstWriteCount), count: numSamples - firstWriteCount)
}
usingSampleCount += numSamples
}
}
関連して、元プロジェクトの他の場所でも幾らかの修正が必要になります。また別質問のコメントに書かれていたようにNSData
からの標本データの読み取りが間違っているようなので、そちらも修正した方がいいでしょう。もうご自分で修正された版を持っていると思いますが、私が書くならこんな感じということで。
import Cocoa
final class MyWaveView: NSView {
//Swiftなんで、`NSData`は使用せずに`Data`を使用する
var data: Data? {
didSet {
needsDisplay = true
}
}
override func draw(_ dirtyRect: NSRect) {
NSColor.white.set()
NSBezierPath(rect: bounds).fill()
NSColor.darkGray.set()
NSBezierPath(rect: bounds).stroke()
guard let data = data else { return }
let bezierPath = NSBezierPath()
let length = data.count / MemoryLayout<Int16>.stride
let unit = bounds.width / CGFloat(length)
let mid = bounds.height / 2
//`Data`内のデータへのポインタを`UnsafePointer<Int16>`型として取得する場合の書き方
data.withUnsafeBytes { (samples: UnsafePointer<Int16>) in
bezierPath.move(to: NSPoint(x: 0, y: mid))
for index in 0 ..< length {
let normalizedSample = CGFloat(samples[index]) / CGFloat(Int16.max)
bezierPath.line(to: NSPoint(x: unit * CGFloat(index), y: normalizedSample * mid + mid))
}
}
NSColor.black.set()
bezierPath.lineWidth = 1
bezierPath.stroke()
}
}
書き換え部分がかなり大きくなったので、つまらないミスが入っているかもしれません。お気付きの点があればご質問ともどもお知らせください。
ちなみに解析処理はもう書かれているということですが、それとうまくつながるようになんてことは一切考えていません。ご自身のコードは今どのようなものになっているのでしょうか?参考サイトの元プロジェクトからは解析処理の追加などを含め、色々変更されているかと思います。ご質問を書かれるときに肝心なところはご質問そのものに含めていただいていると思いますが、思わぬ部分に影響が出ることもあります。出来ればご自身のリポジトリをGithub等に持たれて、ご質問本文には入れていないコードも見られるようにしてもらった方が良いかもしれません。
malloc
(あるいはUnsafeMutablePointer.allocate
)で割り当てられた領域に対しては、removeFirst()
,append()
のような操作はできません。例えばArray
型の内部では、案2に相当する操作を実際に行なっています。 案2 やろうと思えばできますし、buffer
全体の大きさが実は変わらないなら、「バッファb2」なんて用意しなくても、元のbuffer
の中で残す部分を順に前に詰めていけば実現できます。が、あまりオススメしたくない書き方です。と言うのは、波形データが届くのはせいぜい数KB単位であるのに対し、buffer
のサイズは48000×2×10 =960000で、約1MBあります。数KBのデータが届くたびに1MBのバッファを全体を操作すると言うのはあまりにも非効率です。最近の高速なCPUなら一応動きはするでしょうが、データを右から左までずらすためだけにとんでもないCPUパワーを食うことになり、信号解析に使える余地は大きく減るでしょう。