0

OpenAIのWhisperAPIでは、入力に音声ファイル(例えば拡張子が「.m4a」のデータ)が必要ですが、LINE Massaging APIの以下APIにて取得できるデータの形式がファイル形式ではないので、間の変換処理を考えていたのですがわからずです。

https://api-data.line.me/v2/bot/message/${messageId}/content

ひとつの方法として、LINEから音声データを取得したときに、任意の場所にファイルを出力して、それを利用する方法はあると思いますが、ファイルの保存は要件としてNGです。
変換処理が誤っているのか、そもそもaxiosを利用していますが、axiosからWhisper APIを呼ぶ方法が間違っているのか、どちらも可能性はあります。
知見のある方がいましたら、どうぞよろしくお願い致します。

補足としてGAS(google apps script)であれば以下1行で実現可能ですが、Node.jsの場合はそうもいかないようです。

response.getBlob().setName(`${messageId}.m4a`);

以下、現状のソースです。

const voice = await axios.get(`https://api-data.line.me/v2/bot/message/${messageId}/content`,
    {
      headers: {
        'Content-Type': 'application/json; charset=UTF-8',
        'X-Line-Signature': SIGNATURE,
        'Authorization': `Bearer ${CH_ACCESS}`
     },
      responseType: 'arraybuffer'
    }   );

  //const voiceData = new Uint8Array(voice.data);   
const voiceData = voice.data;
const filename = 'demo001.m4a';   
const formData = new FormData();   
formData.append('file', Readable.from(voiceData), { filename: filename, knownLength: voiceData.byteLength, contentType: 'audio/m4a'});
   formData.append('language', 'ja');   formData.append('model', 'whisper-1');

  const response = await axios.post('https://api.openai.com/v1/audio/transcriptions',
    formData,   {
    headers: {
    'Content-Type': 'multipart/form-data',
    'Authorization': `Bearer ${OPENAI_KEY}`,
    }   });   
console.log(response.data);
6
  • axiosからWhisperAPIを呼び出す箇所の(うまくいっていない)コードを質問文に追記した方が、回答を得られやすくなると思います。
    – user20098
    Commented 4月28日 12:07
  • やりたいことは、ここ「note.com/wanwanland/n/na649dd8f2eb8」に書かれていることと同様ですかね?この例では、「/usr/src/app/voice.m4a」にファイルを書き出しているが、これはやりたくない。さらに、node.js で実現したいということですかね? Commented 4月28日 12:11
  • 上記のnoteの内容と同様です。またファイル書き出しを行わずnode.jsで実現したいという認識で合っております。 また、GASの場合は以下の内容とも同様で、該当のソースコードの箇所は投稿にある引用コードになります。 「qiita.com/CurryPrince/items/3bd03ff6ae1388eb0a3b
    – Tee
    Commented 4月29日 5:59
  • 環境がないため検証はできておりませんが、OpenAI 版のコードを私の回答に追記したので、可能であれば確認ください。 Commented 5月1日 16:10
  • OpenAI Whisper API の環境が用意できたので、一部コードを修正しました。file のヘッダーは、filename のみで動作しました。私が記載したコードをそのまま使用しても動作しないでしょうか? Commented 5月2日 2:14

1 件の回答 1

1

前提条件

以降の各コードは、TypeScript で記述し、Express で動作確認しています。動作確認時に使用した主なモジュールのバージョンは、以下の通りです。

  • node.js 18.15.0
  • axios 1.6.8

LINE Messaging API による音声ファイルの取得

axios による音声ファイルの取得時に、responseType: 'arraybuffer' オプションを指定していますか?

以下は、axios で LINE Messaging API を使用して音声ファイルを取得する処理です。

async function getMessageAudioFile(messageId:string, channelAccessToken:string): Promise<Uint8Array> {

    const response = await axios.get(`https://api-data.line.me/v2/bot/message/${messageId}/content`,
        {
        headers: {            
            'Authorization': `Bearer ${channelAccessToken}`
        },
        responseType: 'arraybuffer'
        })
        .catch(err => {
            console.error(err);
            return err.response;
        });

    if (response.status !== 200 || response.headers['content-type'] !== 'audio/x-m4a') {
        // TODO: 例外処理
        throw new Error("音声ファイルの取得に失敗しました。");
    } 
    
    return response.data;    
}

axios での要求時に、responseType: 'arraybuffer' オプションを指定することで、応答データをバイト配列 (Uint8Array) で取得しています。音声ファイルをバイト配列として変数に格納して扱うためファイルにデータを書き込む必要がありません。

OpenAI Whisper API による音声ファイルのテキスト化

Whisper API への要求は、multipart/form-data となるので、FormData を使用して送信データを作成します。
送信する音声データ(バイト配列)は、 Readable.from でストリームに変換し、キー: file でフォームデータに追加します。この時、ヘッダーに、filename を設定します。filename ヘッダーがないと、Whisper API 要求時にエラーとなりました。

import FormData from 'form-data';
import { Readable } from "node:stream";

...

async function getAudioTranscriptionWithOpenAiRestApi(voiceData: Uint8Array, openAiKey: string): Promise<string>  {
    
    const filename = 'demo001.m4a';
    const formData = new FormData();
    formData.append('file', Readable.from(voiceData), { filename: filename });
    formData.append('language', 'ja');
    formData.append('model', 'whisper-1');

    const response = await axios.post(
        'https://api.openai.com/v1/audio/transcriptions',
        formData,
        {
          headers: {
            'Content-Type': 'multipart/form-data',
            'Authorization': `Bearer ${openAiKey}`,
          }
        })
        .catch(err => {
            console.error(err);
            if (err.response.data?.error) {
                console.error(err.response.data.error);
            }

            return err.response;
        });

    if (response.status !== 200 || !response.data.text) {
        // TODO: 例外処理
        throw new Error("音声ファイルのテキスト化に失敗しました。");
    }

    return response.data.text;
}

ライブラリを利用した例

最後に、axios を使用せず、以下の各クライアント ライブラリを使用したコード例を説明します。

import { messagingApi } from '@line/bot-sdk';
import OpenAI, { toFile } from 'openai';

const lineBlobClientConfig  = {
    baseURL: 'https://api-data.line.me',
    channelAccessToken: '<チャネル アクセス トークン>',
}

const lineBlobClient = new messagingApi.MessagingApiBlobClient(lineBlobClientConfig);
const openAiClient = new OpenAI( { apiKey: openAiApiKey});

...

async function getMessageAudioTranscriptionWithSdk(messageId:string): Promise<string> {
    
    const stream = await lineBlobClient.getMessageContent(messageId)
        .catch(err => {
            console.error(err);       
        });

    if (!stream) {
        // TODO: 例外処理
        throw new Error("音声ファイルの取得に失敗しました。");
    }

    const filename = 'demo001.m4a';    
    const transcription = await openAiClient.audio.transcriptions.create({
            file: await toFile(stream, filename),
            model: 'whisper-1',
            language: 'ja',
        })
        .catch(err => {
            console.error(err);
        });

    if (!transcription) {
        // TODO: 例外処理
        throw new Error("音声ファイルのテキスト化に失敗しました。");
    }

    return transcription.text;
}

クライアント ライブラリを使用した方が、処理が明確に記述でき読みやすくなるので、こちらがおすすめではあります。

2
  • 質疑が長引いていたため、見やすさのためコメントはチャットに移動されました; ここで相談を続けないで下さい。チャットの方で相談を続けつつ、最終的な結論を解答に反映する形で続けていただけたらと思います🙏
    – nekketsuuu
    Commented 5月2日 14:09
  • 1
    結果として、TypeScript→JavaScript(Node.js)の変換に少々詰まりましたが、おすすめのクライアントライブラリを用いて、無事動作するようになりました。ありがとうございます。 以前の明確な問題の原因はわかっていないですが、その他ご提示いただいたコードと見比べたいと思います。
    – Tee
    Commented 5月3日 2:12

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。