1

AIについて分かっておらず、以下のようなことを、AIを使用すれば実現できるかお聞きしたいです。

行いたいこと

様々な部品に対して、キーワードを登録しており、一定数のサンプルデータ(教師データ?)から新しい部品に対するキーワードを自動作成する。

例えば、Webサイトで、様々な部品(部品名や型式やメーカ名も含む)を登録します。また、それらのデータをDBに蓄積させます。
その後、一定数のサンプルデータを取得できれば、DBのデータを元にAIの解析を使用して、新しい部品登録から、その部品のキーワードを自動作成可能かどうかです(その後、部品リストに部品とそのキーワードを表示させていくようなイメージです)。

サンプルデータが以下として、新しく登録された部品Cのキーワードが、「LANケーブル」として自動生成・表示されるかどうかです。

部品Aのキーワード:同軸ケーブル/5m/
部品Bのキーワード:LANケーブル/3m/

何となく厳しそうな気がしていますが、教えていただければ助かります。よろしくお願いいたします。

8
  • 1
    商品名のデータベースから頻出単語を見つける、ということでしょうか?いわゆるAIを使うよりも自然言語処理技術を使うほうが適切(高速で、高精度)な気がしますが……
    – PicoSushi
    Commented 2021年10月14日 8:49
  • 1
    説明は簡略化しているのだと思われますが、新しい部品がなぜ同軸ケーブルではなくLANケーブルとして選ばれるのかが分かりませんでした。AIに限らずとも、複数の属性から類推させること自体は恐らく実現可能かと思われます。
    – cubick
    Commented 2021年10月14日 8:54
  • 説明変数は何でしょうか?
    – merino
    Commented 2021年10月16日 8:59
  • @PicoSushi ご連絡ありがとうございます。部品Aや部品Bと記載しましたが具体的に、品名、その商品の型式、「自社のどの製品に使用されるか」、メーカ名等は項目としてあるので、それらを変数として使用できればと思います。一度自然言語について調べて見ます、、
    – sentian
    Commented 2021年10月18日 4:25
  • 1
    分類問題と捉えると変数が少ないほど難しくなるかと思います。まずはロジスティック回帰などで試してみてはどうでしょうか?
    – merino
    Commented 2021年10月19日 6:15

1 件の回答 1

1

書かれている内容について、いくつかのAIの組み合わせで実現できると思います。
まずは、利用する2種類のAIの仕組みを簡単に解説します。
これらを適切に組み合わせることで、問題が解決できると考えます。

・自然言語処理用AI(例:Word2Vec)

1. AIに意味を分類したいキーワード(キーワード候補自体が分類時の入力変数に入っていない場合は分類につかう変数も)が含まれる教材を使って学習させます。これによって、AIは各キーワードを「多次元ベクトル」(意味ベクトル)へ変換できるようになります。AIは、各キーワードの内、似ているものを似ているベクトルに変換するようになります。それらは「近い意味である」と学習しているためです。

2.「LAN」などの、キーワード候補として取り扱いたいワードをあらかじめ全てベクトルに変換しておきます。これは後の計算で使います。分類用のキーワードが形態素解析などによって複数に分割出来る場合は、ベクトルを合成すると簡単な場合があります。
例えば、「LAN」+「ケーブル」というように複数の意味ベクトルを合成すると、結果のベクトルには「LAN」と「ケーブル」のどちらの意味も含まれます。ただし、あまり合成する数が多いと意味がぼやけやすくなるのと、「LAN」とも「ケーブル」とも類似になるので注意は必要です。

3.新しく登録する際に、分類したい部品の情報(例えば新しく登録された部品Cに関する情報)をベクトルに変換します。
ここで使う情報はなるべくノイズを減らす方が良いので、分類したい内容的に無意味な情報は使わないようにします。

4.2と3のベクトル同士の類似度を「ベクトル同士の距離」や「ベクトル同士の角度の差」などの数学的な計算によって算出します。ベクトルの計算のみなのでこれは非常に高速であり、合成したベクトルでも同様に計算できます。

5.4で最も類似であると計算されたキーワード候補が、分類したい部品に対して自動作成されるキーワードになります。

・ロジスティック回帰系AI(例:多層パーセプトロンで、出力層をロジスティック(シグモイド)関数の多変量版であるソフトマックス関数にしたもの)

1.このAIは基本的に入力が0と1の組み合わせが配列になったデータであり、予め入力内容を定義出来る場合に使用します。

2.例として、分類対象の部品を以下とおきます。(部品Cが分類対象で、Bと全く同じデータになっていますが、実際には学習したデータのバリエーション次第でBと全く同じでなくとも大丈夫です)
部品A{品名:○○同軸ケーブル,型式:A-111,自社のどの製品に使用されるか:製品X,メーカー:○○電機}
部品B{品名:○○LANケーブル,型式:B-111,自社のどの製品に使用されるか:製品Y,メーカー:○○商事}
部品C{品名:○○LANケーブル,型式:B-111,自社のどの製品に使用されるか:製品Y,メーカー:○○商事}

3.まず全ての変数(「品名」、「型式」、「自社のどの製品に使用されるか」、「メーカ」のバリエーション)を洗い出します。「品名」にパターンが多すぎるような場合は、「品名」部分では自然言語処理用AIを用いるか、形態素解析後に品名分類用の辞書(作成可能な場合)とマッチングさせるべきなので、今回は簡単のために「品名」を除外します。
なので、パターンは以下の通りです。
[A-111,B-111,製品X,製品Y,○○電機,○○商事]

4.部品の属性のうち、先ほどのパターンとマッチする部分を1にした配列を作成します。
例えば部品Aは
[1,0,1,0,1,0]
です。
これがAIの学習の時と、新しい部品を追加して実際に分類する時に使う、AIへの入力作成方法です。

5.AIに、既存のデータにある部品Aと部品Bについて学習させます。
教師データ(AIにパターンを教えるために作る必要のあるデータ)の例は以下の通りです。
{入力(部品A):[1,0,1,0,1,0],出力:[1,0]}
{入力(部品B):[0,1,0,1,0,1],出力:[0,1]}
ここで、
出力が[1,0]だった場合を{長さ:5m,色:銀色}、
出力が[0,1]だった場合を{長さ:3m,色:赤色}、
とします。このように特定の配列に対応する辞書をあらかじめ作成しておきます。

6.新しく分類したい、部品CをAIで分類します。
部品Cは入力が[0,1,0,1,0,1]なので出力は[0,1]となり、辞書から{長さ:3m,色:赤色}というキーワードが得られます。

上記2つのAIの併用

部品の変数である、「品名」、「型式」、「自社のどの製品に使用されるか」、「メーカ」の内、「品名」を自然言語処理用AIで、それ以外をロジスティック回帰系AIで処理し、結果を結合します。
部品Cの場合では、自然言語処理用AIの結果から不要なワード「○○」が取り除かれた「LANケーブル」というキーワードが得られます。
同様に、ロジスティック回帰系AIの結果からは{長さ:3m,色:赤色}という結果が得られます。

これを組み合わせて得られる部品Cの結果キーワードは以下となります。
LANケーブル/3m/赤色

この方法によって、AIでこの問題を解決できると思います。

16
  • ご連絡ありがとうございます。例えば、今回使用する変数は他のコメントでも記載させていただきましたが、品名、型式、「自社のどの製品に使用されるか」、メーカとしてます。部品Cの各変数を組み合わせてベクトル変換を行いまいす。そして、その結果と部品Bの変数の組み合わせによるベクトル変換の結果の類似度が高いので、キーワードがLANケーブルであると判定されるのでしょうか?
    – sentian
    Commented 2021年10月18日 9:03
  • おっとすみません、ちょっと勘違いしていて、回答が変なことになっています。夜になりますがご回答を含めて修正しますので、しばらくお待ち下さい。
    – M.M.
    Commented 2021年10月19日 6:00
  • 1
    まず1つ目のご質問ですが、「記号の羅列のみ」を示す型番などを変数として採用したい場合は、「自然言語処理」をからめた処理よりも、merinoさんのコメントにあるロジスティック回帰(多クラス分類)や他の種類のAI(SVMなど)を使用する方が良いです。この場合はあらかじめ自作した教師データを使っての学習が必要になりますが、似た型番などでも判別できます。 ロジスティック回帰などの問題は主にこの教師データの作成であり、大抵の場合はあらかじめどういう変数があるのか大体分かっている場合にだけ利用出来ます。 つまり、新しく追加される部品の変数が既存のどれかである場合であり、変数の数が増減しない場合に有用です。 私の回答の方は学習教材になるのが主に文章であり、あらかじめどういう変数が与えられるか分からなくてもそれなりに使えるメリットがありますが、型番や数字のみの項目などは大抵ノイズになります。 例えば「ABC123」などの型番や「500円」などのような数字情報は、「親」と「子」のような言葉の意味上の関係性を持っていないので大抵はベクトル空間中に上手く配置できないんです。
    – M.M.
    Commented 2021年10月20日 10:02
  • 1
    2つ目ですが、得たい部品のキーワードが「同軸ケーブル/5m/銀色」の場合など、名前以外の部分のバリエーションが豊富になる場合、自然言語のみでやるのが厳しくなってくると思います。 入力データがコメントの方であった「品名、型式、自社のどの製品に使用されるか、メーカ」であれば、自然言語では「品名」か「品名とメーカ」でケーブルの種類などを分類して、色などの固定データの推測は「型式、自社のどの製品に使用されるか、メーカ」からロジスティック回帰を使うと上手くいくと思います。 用途次第で、いくつかのAIを組み合わせるのはよくやります。 ただ、「品名」も特定の種類のみ存在するなら、ロジスティック回帰だけでもいけると思います。
    – M.M.
    Commented 2021年10月20日 10:49
  • 1
    なお、補足ですがロジスティック回帰による多クラス分類では、「型式」、「自社のどの製品に使用されるか」、「メーカ」などの組み合わせから、「5m/銀色」や「3m/赤色」などの付加情報の内、一番確率が高いものが「5m/銀色」である、というような推測が出来ます。 これは、ロジスティック回帰の学習で「型式」、「自社のどの製品に使用されるか」、「メーカ」が特定の組み合わせの場合に、結果が「5m/銀色」であるという学習を事前に行う(行う必要がある)ためです。
    – M.M.
    Commented 2021年10月20日 11:02

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。