1

Pythonデータ前処理に関して質問させていただきたきます。

求人内容のデータ分析をしており、添付1枚目のDataFrameにてまずは前処理段階で
添付2枚目の['position']列の文字列データを確認したところ構成が求人名(詳細内容や勤務地)などまとまってしまっているデータが多数あり、取り急ぎやりたいこととしては

求人名と()の内容を分割して()の内容は一旦別の列として抽出する作業なのですが、splitを使って分割した先の

  1. 繰り返し処理と、()が入ってないデータに関してスキップをかける処理
  2. 処理後に新たな列として()内データの抽出作業

ができず躓いてしまっております。
調べてはいるものの中々うまくいかずご情報いただけると幸いです。

分割時のコード

s = 'サーバサイドエンジニア(開発チーム リーダー候補)'

sep = '('
t = s.split(sep)  # 半角空白文字で文字列を分割

r = t[0]  #  サーバサイドエンジニア 求人内容はインデックス0に含まれている
print(r)  # (特定の文字より前を抽出=特定の文字以降を削除)

r = t[1]  # 詳細はインデックス1に含まれている
print(r)  # 開発チーム リーダー候補)(特定の文字より後ろを抽出=特定の文字までを削除)

出力結果:

サーバサイドエンジニア
開発チーム リーダー候補)

データフレーム:

データフレーム

求人内容:
求人内容

1 件の回答 1

1

以下は pandas.Series.str.extract を使う方法です。

import pandas as pd

train_data1 = pd.read_csv('train_data1.csv')

splitted = train_data1['position'].str.extract(r'^\s*(.+?)(\((.*?)\))?\s*$').fillna('')
train_data1['position'] = splitted[0]
train_data1.insert(2, 'position2', splitted[2])

train_data1

company_id position framework_skillset language_skillset
1 サーバサイドエンジニア(開発チームリーダー候補) CakePHP/jQuery JavaScript
2 プログラマ nan Java/C/VB
3 サーバサイドエンジニア CodeIgnighter/Ruby on Rails Go/PHP/Ruby
4 バックエンドエンジニア(大阪) FuelPHP/jQuery/Vue.js PHP/Javascript
5 PL/PM nan Java/C/C++
6 Web開発エンジニア(フロントエンド) Vue.js/Laravel/jQuery JavaScript/HTML5+CSS3

position 列の右側に position2 として挿入しています。また、(...) 部分が無いレコードの場合は空白("")になります。

company_id position position2 framework_skillset language_skillset
1 サーバサイドエンジニア 開発チームリーダー候補 CakePHP/jQuery JavaScript
2 プログラマ nan Java/C/VB
3 サーバサイドエンジニア CodeIgnighter/Ruby on Rails Go/PHP/Ruby
4 バックエンドエンジニア 大阪 FuelPHP/jQuery/Vue.js PHP/Javascript
5 PL/PM nan Java/C/C++
6 Web開発エンジニア フロントエンド Vue.js/Laravel/jQuery JavaScript/HTML5+CSS3
1
  • @metropolis様 早速のご回答誠にありがとうございます。すぐにトライしてみます。大変助かりました。
    – issei
    Commented 2021年8月22日 5:45

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。