2

データ分析初心者です。
初めて簡単なコンペのようなものに挑戦しています。
何からやればよいのかわからず手探りでググって一つ一つ進めてきたのですが、これについてはどのようにググれば答えが見つかるのかもわからずの状態です。
そのため、タイトルもなかなかうまく言語化できておらず、わかりにくくなってしまっていると思います。すみません。

コンペの内容としては民泊サービスの価格予測です。物件に関する情報と価格のデータが与えられています。
中身のデータを精査しているのですがその中で「設備・アメニティ」についてのカラム('amenities')がありました。
こちらのカラムが下記のような形でリスト形式でデータを保持しています。

{TV,"Wireless Internet",Kitchen,"Free parking on premises",Washer,Dryer,"Smoke detector"}
{TV,"Cable TV",Internet,"Wireless Internet","Air conditioning",Kitchen,"Free parking on premises",Heating,Washer,Dryer,"Smoke detector","Carbon monoxide detector","First aid kit",Essentials,Shampoo,"Lock on bedroom door","24-hour check-in",Hangers,Iron,"Laptop friendly workspace","translation missing: en.hosting_amenity_49","translation missing: en.hosting_amenity_50"}

特段このアメニティの充実度が価格に影響を与えるとは思えにくいのですが、一応確認をしてみたいと思っており、下記のような操作をしたいと思っております。

  • 全データ(約5万レコード)からアメニティに記載されている要素を過不足なく抽出し、その要素分、新たに列を作成する。
  • 新たに作成した列に対してそれぞれ元の'amenities'に値が含まれていた場合は1、そうでない場合は0を設定していく。

pandasでこういった操作ができないか調べてみたのですが全く見当がつかない状態です。
CSVを直接触れば、1.はできそうなのですが、2.を機械的にやる方法が思いつきません。

質問は2点あります。

  1. 上記を実現する方法はありますか?
  2. こういった1カラムにリストが入っているようなデータを扱うときの一般的な扱い方のルールのようなものがあれば教えてください。

3 件の回答 3

3

前提

準備

下記のような文字列からなるデータシリーズ

>>> import pandas as pd
>>> amenity = pd.Series([
    '{HOGE, "PI YO", HUGA}',
    '{HOGE, "PI YO", HUGA}',
])
>>> amenity
0    {HOGE, "PI YO", HUGA}
1    {HOGE, "PI YO", HUGA}
dtype: object

>>> table = str.maketrans("","",'{\"}')
>>> amenity = amenity.str.translate(table).str.split(",")
>>> amenity
0    [HOGE,  PI YO,  HUGA]
1    [HOGE,  PI YO,  HUGA]
dtype: object

により、文字列のリストからなるデータシリーズに変換する。

問題設定

以上の準備を行った下で、やりたいこととして下記を仮定します。

下記のようなデータ構造

amenity = [
    ["A", "B"],
    ["B", "C"],
    ["A"],
    ["B", "C"],
]

から

   A  B  C
0  1  1  0
1  0  1  1
2  1  0  0
3  0  1  1

のようなデータ構造を作りたい。

解決策

私の場合は下記のような操作を行うことが多いです。

Python 3.8.11 (default, Aug  3 2021, 06:49:12) [MSC v.1916 64 bit (AMD64)] :: Anaconda, Inc. on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import pandas as pd
>>> pd.__version__
>>> pd.__version__     
'1.3.1'
>>> df = pd.DataFrame({
    "amenity": [
        {"A", "B"},
        {"B", "C"},
        {"A"},
        {"B", "C"},
    ]
})  # サンプルデータ作成
>>> df

  amenity
0  {A, B}
1  {C, B}
2     {A}
3  {C, B}

>>> df.amenity
      .map(lambda s: {k: True for k in s})  # set から 辞書に変換
      .apply(pd.Series)                     # 要素を expand
      .fillna(False)                        # 欠損値を False に

       A      B      C
0   True   True  False
1  False   True   True
2   True  False  False
3  False   True   True

注意:可読性のため、適当なところで改行やコメントを加えているので、コピペでは実行できませんので、ご注意を。ご自身で必要な修正をお願いします。

その他の方法

scikit-learn にもこのような処理を行うための Transformer が用意されています。
pandas と scikit-learn の処理どちらを使用するのが一般的かどうかは判断しかねますが、ご参考までに。

https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.MultiLabelBinarizer.html

類似スレッド

"pandas list column dummy" で検索すると、

https://stackoverflow.com/questions/29034928/pandas-convert-a-column-of-list-to-dummies

がヒットしました。
こちらでも pandas の pd.Series の apply と MultiLabelBinarizer による方法がソリューションとして提案されているようです。

5
  • 詳細な説明ありがとうございます!やりたいことはご認識の通りです。 map関数やlambdaについては存在を知っている程度で実際どういったときに役立つのか、どう使えるのかまでは知らず、こういった使い方もあることを知ることができました。 また、他のリファレンスについてもご紹介いただきありがとうございます。 頂いたコードを自分の環境で動かしたところ同じようになったのですが、 分析しようとしているデータ(上でご紹介したもの)に適用するとうまく分割できず、下記のような状態になりました。
    – gna
    Commented 2021年8月4日 3:19
  • 失礼いたしました。データ構造を勘違いしておりました。データ構造が'{HOGE, PIYO, HUGA, ...}' の文字列のリストであることに注意して、それを文字列のリストからなるリストに変換する方法を上記の回答に追記いたしました。
    – hmasdev
    Commented 2021年8月4日 6:03
  • > { T V , " W i r e l ... v P ( ) G M O ’ Q & 上記のようにカラムが1バイトずつ分割されてしまいました。 元データをリストと認識できていないためだと思っています。 元データがをみるとカンマセパレートはしてあるものの、TVなどの項目にはダブルクオーテーションがなく、ダブルクオーテーションが付与されているものは”Wireless Internet”のようにスペースがあるものだけでした。 元データの例){TV, "Wireless Internet", "Air Conditioning", Kitchen}
    – gna
    Commented 2021年8月4日 11:26
  • 申し訳ございません、業務で中断して途中のコメントをできないままでした。。。。 まず >amenitiess = df['amenities'].str.split(',') 最初にSeriesとして取り出すときに、上記のように明示的にカンマ区切りであることを定義しました。 すると分割自体はカンマで実施してくれるようになりましたが、{、}がごみのようにのこってしまいました。 そのため、下記で置換を行ってからSeriesの取り出しを実施することで無事思った通りに分割することができました。 df['amenities'] = df['amenities'].str.replace('{', '') df['amenities'] = df['amenities'].str.replace('}', '')
    – gna
    Commented 2021年8月4日 11:28
  • 上記回答についてい頂いておりますこと確認いたしました。ありがとうございます。
    – gna
    Commented 2021年8月4日 11:34
2

Airbnbのデータですかね。

このカラムのそれぞれのデータは、各要素が,で区切られています。また「Wireless Internet」のように2語以上からなるために空白文字を含む要素は、""でくくられています。したがって、以下のような手順を踏みます。

  1. データの両端の括弧{}を取る。
  2. 要素を括っている""を取る。
  3. 区切り,に基づいてダミー変数化。

1.と2.は{}"の3種の文字を消すという作業になります。Pandasでは.str.replace()メソッドで行うことができます。
3.のように、区切りを含む文字列データをダミー変数化する場合は、Pandasでは.str.get_dummies()メソッドを用いるのが容易です。

以下は実行例です。メソッドチェーンにより、正規表現を用いて{}"の三種の文字を削除してからダミー変数化するまでを一行で書いています。(データはこのページのものを使いました)

In [2]: df = pd.read_csv('listings.csv')
   ...: s = df['amenities']
   ...: s.head()
Out[2]:
0    {TV,"Cable TV",Internet,"Wireless Internet","A...
1    {TV,Internet,"Wireless Internet",Kitchen,"Free...
2    {TV,"Cable TV",Internet,"Wireless Internet","A...
3    {Internet,"Wireless Internet",Kitchen,"Indoor ...
4    {TV,"Cable TV",Internet,"Wireless Internet",Ki...
Name: amenities, dtype: object

In [3]: s.str.replace(r'{|}|"', "", regex=True).str.get_dummies(',')
Out[3]:
      24-Hour Check-in  Air Conditioning  Breakfast  ...  Washer / Dryer  Wheelchair Accessible  Wireless Internet
0                    0                 1          0  ...               0                      0                  1
1                    0                 0          0  ...               0                      0                  1
2                    0                 1          0  ...               0                      0                  1
3                    0                 0          0  ...               0                      0                  1
4                    0                 0          0  ...               0                      0                  1
...                ...               ...        ...  ...             ...                    ...                ...
3813                 0                 1          0  ...               0                      1                  1
3814                 1                 0          0  ...               0                      0                  1
3815                 0                 0          1  ...               0                      0                  1
3816                 0                 0          0  ...               0                      0                  1
3817                 0                 0          0  ...               0                      0                  1

[3818 rows x 41 columns]
1
  • はい、その通りです。 なるほど、1.2.3.の流れが一般的なのですね。ありがとうございます。 色々やってみて、①カンマで区切る、②{, }を置換するは実施していたものの、””についてはそのままにしていました。この後データを扱う上ではこちらも置換してしまう必要がありますね。 また、単純なカンマセパレートだけの状態にすれば str.get_dummiesが使えることは知りませんでした。非常に短くスムーズに置換ができるのですね。。。 ありがとうございました。
    – gna
    Commented 2021年8月4日 11:50
2

pandas.get_dummies を使います。

import pandas as pd

amenities = pd.Series([
  '{TV,"Wireless Internet",Kitchen,"Free parking on premises",Washer,Dryer,"Smoke detector"}',
  '{TV,"Cable TV",Internet,"Wireless Internet","Air conditioning",Kitchen,"Free parking on premises",Heating,Washer,Dryer,"Smoke detector","Carbon monoxide detector","First aid kit",Essentials,Shampoo,"Lock on bedroom door","24-hour check-in",Hangers,Iron,"Laptop friendly workspace","translation missing: en.hosting_amenity_49","translation missing: en.hosting_amenity_50"}',
])

category = pd.get_dummies(
  amenities.str.strip('{}"')
           .str.split(r'"?,"?', expand=True)
           .stack()
).groupby(level=0).sum()

category.T.to_markdown()
0 1
24-hour check-in 0 1
Air conditioning 0 1
Cable TV 0 1
Carbon monoxide detector 0 1
Dryer 1 1
Essentials 0 1
First aid kit 0 1
Free parking on premises 1 1
Hangers 0 1
Heating 0 1
Internet 0 1
Iron 0 1
Kitchen 1 1
Laptop friendly workspace 0 1
Lock on bedroom door 0 1
Shampoo 0 1
Smoke detector 1 1
TV 1 1
Washer 1 1
Wireless Internet 1 1
translation missing: en.hosting_amenity_49 0 1
translation missing: en.hosting_amenity_50 0 1

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。