下記のように、URLを格納したデータフレームがあります。
こちらに、特定のパラメータの値を抽出し、新しい列を作って代入したいと考えています。
df = pd.DataFrame({'ulr' : ['https://www.shop.jp/shop/pro_source=google&pro_md=list_1&pro_cp=sweets_&gclid=?skejsurieksoduuuuis23028', 'https://www.shop.jp/shop/pro_source=yahoo&pro_cp=sweets_&pro_md=list_2&pro_cm=gclid=?skejsurieksoduuuuis23028',
'None', 'https://www.shop.jp/shop/pro_source=&pro_md=&pro_cp=sweets_&gclid=?skejsurieksoduuuuis23028', 'https://www.shop.jp/shop/pro_source=google&pro_md=list_1&pro_cp=sweets_&gclid=?skejsurieksoduuuuis23028']})
具体的には、下記を実現したいです。
pro_source というパラメータについては、その値を抽出し「source」という列を作成して格納
pro_md というパラメータについては、その値を抽出し「md」という列を作成して格納
出来上がるデータフレームイメージは以下です。
ans = pd.DataFrame({'ulr' : ['https://www.shop.jp/shop/pro_source=google&pro_md=list_1&pro_cp=sweets_&gclid=?skejsurieksoduuuuis23028', 'https://www.shop.jp/shop/pro_source=yahoo&pro_cp=sweets_&pro_md=list_2&pro_cm=gclid=?skejsurieksoduuuuis23028',
'None', 'https://www.shop.jp/shop/pro_source=&pro_md=&pro_cp=sweets_&gclid=?skejsurieksoduuuuis23028', 'https://www.shop.jp/shop/pro_source=google&pro_md=list_1&pro_cp=sweets_&gclid=?skejsurieksoduuuuis23028'],
'source': ['google', 'yahoo', '入力なし', '', 'google'],
'md': ['list_1', 'list_2', '入力なし', '', 'list_1']})
これを実現するために、以下の記述をしてみたところ、上記のサンプルデータフレームに対しては、想定の結果を得ることができたのですが、実際にフラグを立てたいデータ(レコード数1000万件程のデータ)に適用してみたところ、「エラー:list index out of range」というエラーが出てしまいました。
import re
def get_source(x):
if x == 'None':
return '入力なし'
elif 'pro_source=' in x:
return re.findall('pro_source=(.*?)&pro_', x)[0]
else:
return 'その他'
def get_md(x):
if x == 'None':
return '入力なし'
elif 'pro_md=' in x:
return re.findall('pro_md=(.*?)&pro_', x)[0]
else:
return 'その他'
df['source'] = df['ulr'].apply(get_source)
df['md'] = df['ulr'].apply(get_md)
上記サンプルコードではエラーが出ずに実行できていたので、プログラム自体は問題がない認識なのですが、エラーが起こってしまう理由(適用したいデータに想定される事象)と、回避方法がありましたらアドバイスいただけますと幸いです。