-2

pythonを用いて全国住所データCSV;KEN_ALL.CSVから市の数を都道府県ごとにカウントしたいと考えています。

全国住所データCSV
全国住所データCSVの中身

import csv
result = {}
filename = 'KEN_ALL.CSV'
prefs, cities = [], []
with open(filename, encoding='Shift JIS', newline='') as f:
    csvreader = csv.reader(f)
    for row in csvreader:
        prefs.append(row[6])  # 7列目: 都道府県名
        cities.append(row[7]) # 8列目: 市区町村名

 # 重複を削除
prefs = [*{*prefs}]
cities = [*{*cities}]

cities = list(filter(lambda x: x.endswith('市'), cities))

length = len(cities)
print(f'cities の要素数: {length}')

# ⇓今回の質問に関わる部分
for pref in prefs:
    result[pref] = 0

for city in cities:
    for pref in prefs:
        if city.startswith(pref):
            result[pref] += 1
            break

print(result)
print(prefs)    # 47件
print(cities) # 1894件

これを実行すると

{'徳島県': 0, '石川県': 0, '鳥取県': 0, '群馬県': 0, '宮崎県': 0, '熊本県': 0, '高知県': 0, '大阪府': 0, '富山県': 0, '北海道': 0, '福井県

件数が多いので、一部のみですが、市のカウントが0になってしまいます。citiesに入っている市の数をカウントして都道府県ごとに記述するにはどのようにすればよいのでしょうか。 

4
  • 1
    市の数そのものはこんなページ 都道府県別市区町村数一覧 で分かりますが、KEN_ALL.CSVから導き出したいのは何故でしょう? そのファイルから欲しいのならば、CSVファイルの内容をよく見ることをお勧めします。都道府県名と市区町村名のリストを別々に用意していることと、市区町村名の文字列に都道府県名は含まれていないことに気付いていないことが原因でしょう。
    – kunif
    2022年12月28日 16:02
  • 学校の課題でこのファイルから都道府県と市の数をカウントするようにと言われたので四苦八苦していました。。回答ありがとうございます。 2022年12月29日 1:04
  • 元のデータでは "札幌市中央区" のようになっているので、「末尾が "市"」で検索しても上手くいかないかと思います。まずは "札幌市中央区" のようなデータをどう扱いのか (そのままでよい or ”XX市” に分離する) を決める必要がありそうです。
    – cubick
    2022年12月29日 5:14
  • stackoverflowでは課題の質問は禁止されていないようですが, 質問と回答の情報を共有しようとするコミュニティーでもあり, 質問者が回答を得て そこで終わり(もう OK) ではありません。第三者がエラー内容やデータ内容から Q&A検索するかもしれず, 画像で質問を投稿すると検索できないかもしれない。質問の改訂なども考えると, 急いで答えだけ求めたいのなら stackoverflowは向いてない気がします
    – oriri
    2022年12月30日 6:46

3 件の回答 3

1

groupby 使う方法

この手の処理は (課題云々は別にして) (個人的には) pandas使うと楽にできそうに思います
CSVは 郵便番号データ の「全国一括 (1,691,520Byte)」らしいので zipから算出してみます

update: コメントの指摘受け簡略化
(サイトには ShiftJISと記されてるので念の為それで)

import pandas as pd

fname = '/path/to/ken_all.zip'
df = pd.read_csv(fname, encoding='ShiftJIS', header=None, usecols=[6, 7])
df = df.drop_duplicates().rename(columns={6: '都道府県', 7: '市区町村'})
df[df['市区町村'].str.endswith('市')].groupby('都道府県', sort=False).count()

Pythonで行なう

pandas使わず Pythonで行なうなら, 同等の機能を見つけ置き換える必要があり

  • drop_duplicates ⇛ set or dict
  • df.groupby ⇛ itertools.groupby
import csv
from itertools import groupby

with open(csvfile, encoding='ShiftJIS', newline='') as fp:
    reader = csv.reader(fp)
    dct = {k: sum(c.endswith('市')for _,c in g)
            for k,g in groupby(dict.fromkeys((row[6], row[7])for row in reader),
                               key=lambda x: x[0])}

検証

確認の為, 都道府県別市区町村数一覧 との比較

df, = pd.read_html('https://www.j-lis.go.jp/spd/code-address/kenbetsu-inspection/cms_11914151.html', index_col=0)
df.rename(columns={df.columns[0]: '都道府県'}, inplace=True)
display(df.tail())

df.市.to_list()[:-1] == list(dct.values())   # True
df.set_index('都道府県').drop('計').市.to_dict() == dct   # True
都道府県 指定都市 特別区
44 大分県 - 14 - 3 1 18
45 宮崎県 - 9 - 14 3 26
46 鹿児島県 - 19 - 20 4 43
47 沖縄県 - 11 - 11 19 41
20 772 23 743 183 1741
2
  • 1
    read_csv() は ZIP ファイルに対応しているので、df = pd.read_csv('ken_all.zip', encoding='cp932', header=None, usecols=[6, 7]) とできます。
    – metropolis
    2022年12月30日 5:23
  • それは知りませんでした, ありがとうございます
    – oriri
    2022年12月30日 6:08
0

KEN_ALL.CSVから都道府県名と市の数だけ欲しいのであれば以下のように出来ます。
それから市かどうかを.endswith('市')で判定していると、政令指定都市は含まれません。
市の名前を後で使いたいとか、政令指定都市を含めたいとかなら、追加の処理が必要です。

import csv
result = {}
filename = 'KEN_ALL.CSV'
with open(filename, encoding='Shift JIS', newline='') as f:
    csvreader = csv.reader(f)
    pref = ''
    city = ''
    cities = 0
    for row in csvreader:
        p = row[6]
        if pref and (pref != p):
            result[pref] = cities
            cities = 0
        pref = p
        c = row[7]
        #### 政令指定都市を含めるなら以下を有効化
        # if c.endswith('区') and ('市' in c):
        #     c = c[:(c.rfind('市') + 1)]
        if c.endswith('市') and (c != city):
            cities += 1
            city = c
    
    if cities != 0:
        result[pref] = cities

print(result)
0

参考までに、Pandas を使うのであれば以下の様に記述しても可。

import pandas as pd

num_cities = pd.read_csv('ken_all.zip', encoding='cp932', header=None,
                         usecols=[6, 7], names=['都道府県名', '市区町村名'])\
               .drop_duplicates().query('市区町村名.str.endswith("市")')\
               .value_counts('都道府県名').to_dict()

ref = pd.read_html('https://www.j-lis.go.jp/spd/code-address/kenbetsu-inspection/cms_11914151.html',
                   index_col=1)[0].drop('計')['市'].to_dict()

print(num_cities == ref)

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。