0

やりたいこと


csvファイルのデータを抽出し、全ての列に空白が一つでもあれば除外します。
その後、特定の列に文字列を追加し、1行ずつループさせてメッセージします。
今回はB列とC列だけを読み込んで空白が一つでもあれば除外します。

CSVのデータ

A       B      C       D
アメリカ  1234  テキサス  ワシントン
カナダ  空白 バンクーバー 空白
日本    2345  東京     空白
イタリア 3456  空白     空白

①先ずは抽出したいデータ下記のように表示します。
df_i = df[["B","C"]]
print(df_i)

B      C       
1234  テキサス   
空白  バンクーバー
2345  東京    
3456  空白    

②BC列の中に空白一つでもあれば除外します。

B      C       
1234  テキサス   
2345  東京    

③下記の形式でデータを加工して文字列を追加します。

Number/1234,{Result:テキサス}
Number/2345,{Result:東京}

④メールのメッセージに加工したデータを1行ずつ送信します。

for j in range(len(message_TEST)):
    subject = "【TEST】"
    message = message_TEST #←ここに空白を除外したデータをスキップし、1行ずつループさせて加工したデータを入れたいです。

こちらのコードを記載しましたが下記のように表示されます。

from datetime import datetime
import os
import json
import gzip
from pytz import timezone
import requests
import pandas as pd
from email.mime.text import MIMEText
import smtplib

#CSVファイルの読み込み
df1 = pd.read_csv('OK.csv',encoding='utf_8_sig')

#B列の空白を除外
Number = '\n'.join(filter(None,
  pd.read_csv(
    'OK.csv',
    usecols=['B'],encoding='utf_8_sig', squeeze=True,
    converters={
      'B': lambda x: 'Number/'+x if x else x
    })))

print(Number)

#C列の空白を除外
Result = '\n'.join(filter(None,
  pd.read_csv(
    'OK.csv',
    usecols=['C'],encoding='utf_8_sig', squeeze=True,
    converters={
      'C': lambda x: 'Result:'+x if x else x
    })))

print(Result)

message_TEST=Number+","+"{"+Result+"}"
print(message_TEST)

# Authentication settings
account = "[email protected]"
password = "123"

to_email = "[email protected]"
from_email = "123"
 

for j in range(len(message_TEST)):
    subject = "【TEST】"
    message = message_TEST #←ここに空白を除外したデータをスキップし、1行ずつループさせて加工したデータを入れたいです。
    msg = MIMEText(message)
    msg["Subject"] = subject
    msg["To"] = to_email
    msg["From"] = from_email

    server = smtplib.SMTP("smtp.gmail.com", 587)
    server.starttls()
    server.login(account, password)
    server.send_message(msg)
    server.quit()

出力結果

ここまで出来ましたが、B列に空白ある場合下記のように表示されます。
B列やC列に空白ある場合、除外するにはどのようにすれば、よろしいでしょうか。

Number/1234,{Result__c:テキサス
Result__c:東京}

わかる方いらっしゃいましたらご教示願います。
お手数ですが、宜しくお願いいたします。

2 件の回答 2

1

以下は pandas.DataFrame.agg を使う方法です。

import pandas as pd

Result = '\n'.join(
  pd.read_csv('OK.csv',
    usecols=['B', 'C'], dtype=str, encoding='utf_8_sig').
  dropna().
  agg(lambda x: f'Number/{x[0]},{{Result:{x[1]}}}', axis=1))

print(Result)
=>
Number/1234,{Result:テキサス}
Number/2345,{Result:東京}

補遺

メッセージ内に1行ずつループさせたいですがうまく行かないです。 下記のエラーが表示されます。

message = '\n'.join([f"{column}\n{data}\n" for column,data in Result.iloc[j].iteritems().str])

error内容

AttributeError: 'str' object has no attribute 'iloc'

その場合はリストにする方がよいかと思います。

Result = pd.read_csv(
  'OK.csv', usecols=['B', 'C'], dtype=str, encoding='utf_8_sig')\
  .dropna()\
  .agg(lambda x: f'Number/{x[0]},{{Result:{x[1]}}}', axis=1).tolist()

print(Result)
=>
['Number/1234,{Result:テキサス}', 'Number/2345,{Result:東京}']

後は Result から一個づつ要素(message)を取り出せばよろしいかと。

for message in Result:
       :
4
  • いつも回答ありがとうございます。上記の方法出来ました。 ただメッセージ内に1行ずつループさせたいですがうまく行かないです。 下記のエラーが表示されます。 message=message = '\n'.join([f"{column}\n{data}\n" for column,data in Result.iloc[j].iteritems().str])
    – 幸589
    Commented 2021年2月17日 0:41
  • error内容AttributeError: 'str' object has no attribute 'iloc'
    – 幸589
    Commented 2021年2月17日 0:44
  • もし分かりましたら教えていただけますか。宜しくお願いいたします。
    – 幸589
    Commented 2021年2月17日 0:44
  • ご回答ありがとうございます。上記で試してみます。
    – 幸589
    Commented 2021年2月18日 0:18
1

元のデータが 全角の空白 で区切られているので、 データとして 列が区切ることができていない ということをご理解ください。

元のデータさえ適切なものであれば、ご希望の結果が得られると思います。

#!/usr/bin/env python3
#-*- coding: utf-8 -*-↲

import pandas as pd
from email.mime.text import MIMEText
import smtplib

#CSVファイルの読み込み
df1 = pd.read_csv('OK.csv',delimiter=',',encoding='utf_8_sig')

df1 = df1[df1[['B','C']] != '空白']
df = df1[['B','C']].dropna(axis=0)

for row in df.itertuples():
    print('Number/'+row[1],end='')
    print(',{Result:'+row[2]+'}')
6
  • @epsilon phoenix いつも回答ありがとうございます。因みみB列だけをキーにして次の行が空白であれば除外出来ますか。
    – 幸589
    Commented 2021年2月16日 11:18
  • 出力結果がNumber/1234,{Result__c:テキサス}として表示したいですが、うまく行かないです。
    – 幸589
    Commented 2021年2月16日 11:24
  • @sakaolo さん、そういうことではなくて、質問に書いてあるCSVデータがCSVファイル自身の内容ではなく、Pythonで読み取ってpandasのDataFrameにした後の内容だと思われるからです。ちゃんと各データが,で区切られている、pythonで読み取る前の「生のCSVファイルの内容」をテキストで提示してみてください。
    – kunif
    Commented 2021年2月16日 11:29
  • 特定の列に空白がある場合、除外できますよ。 Commented 2021年2月16日 15:18
  • @epsilon phoenix いつも回答ありがとうございます。上記の方法でも出来ました。
    – 幸589
    Commented 2021年2月17日 0:46

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。