0

Mac, Python3, Django, PostgreSQLを利用して、ローカル環境でWEBアプリを開発しています。

csvファイルをアップロードして、その内容をデータベースに保存するという動きをさせたいのですが、エラーが出てうまく動きません。
コード等は、こちらのサイトを参考にさせてもらって、ほぼ同じ内容のコードにしていますが、エラーが出てしまいます。

参考サイト)https://narito.ninja/blog/detail/60/#postindex

解決の方法について、ご教授いただけないでしょうか?

エラーは、/importのディレクトリで、csvファイルを選択して、送信ボタンをサブミットする時に出ます。

エラー内容:

ValueError at /import/
invalid literal for int() with base 10: '\ufeff1'

アップロードしているCSVファイルの内容:
エンコード:UTF-8

101,おはよう
102,こんにちは
103,こんばんは

settings.py

INSTALLED_APPS = [
    'db_weather.apps.DbWeatherConfig',
]

urls.py:

from django.urls import path
from . import views

app_name = 'db_weather'
urlpatterns = [
    path('', views.PostIndex.as_view(), name='index'),
    path('import/', views.PostImport.as_view(), name='import'),
    path('export/', views.post_export, name='export'),
]

forms.py

from django import forms


class CSVUploadForm(forms.Form):
    file = forms.FileField(label='CSVファイル', help_text='※拡張子csvのファイルをアップロードしてください。')

views.py

import csv
import io
from django.http import HttpResponse
from django.urls import reverse_lazy
from django.views import generic
from .forms import CSVUploadForm
from .models import Post


class PostIndex(generic.ListView):
    template_name = 'post_list.html'
    model = Post


class PostImport(generic.FormView):
    template_name = 'import.html'
    success_url = reverse_lazy('app:db_weather')
    form_class = CSVUploadForm

    def form_valid(self, form):
        # csv.readerに渡すため、TextIOWrapperでテキストモードなファイルに変換
        csvfile = io.TextIOWrapper(form.cleaned_data['file'], encoding='utf-8')
        reader = csv.reader(csvfile)
        # 1行ずつ取り出し、作成していく
        for row in reader:
            post, created = Post.objects.get_or_create(pk=row[0])
            post.title = row[1]
            post.save()
        return super().form_valid(form)


def post_export(request):
    response = HttpResponse(content_type='text/csv')
    response['Content-Disposition'] = 'attachment; filename="posts.csv"'
    # HttpResponseオブジェクトはファイルっぽいオブジェクトなので、csv.writerにそのまま渡せます。
    writer = csv.writer(response)
    for post in Post.objects.all():
        writer.writerow([post.pk, post.title])
    return response

import.html

{% extends 'base.html' %}

{% block content %}
<form action="" method="POST" enctype="multipart/form-data">
  {{ form.as_ul }}
  {% csrf_token %}
  <button type="submit">送信</button>
</form>
{% endblock %}

実行環境
Mac: mojave 10.14.6
Python: 3.7.5
Django: 2.2.2
PostgreSQL:12.1

9
  • CSVファイルがUTF-8ではなくUTF-16だったりしませんか?\ufeffがUTF-16のBOMのようにも見えます。
    – kunif
    Commented 2020年1月4日 14:10
  • 再度確認しましたが、CSVファイルは確かに、UTF-8です。
    – Tio
    Commented 2020年1月4日 14:16
  • 試しにUTF-8でないファイルをアップロードしてみると、エラーコードは['utf-8' codec can't decode byte 0x83 in position 0: invalid start byte ]でした
    – Tio
    Commented 2020年1月4日 14:22
  • 微妙に違うかもしれませんが、この記事が参考になるかも。djangoにて日本語のcsvをインポートする方法
    – kunif
    Commented 2020年1月4日 14:31
  • 1
    エラーがなくなり目的どおり動くようになりました。 タイトルにしている元々のエラー[invalid literal for int() with base 10: '\ufeff1']は、csvfile = io.TextIOWrapper(form.cleaned_data['file'], encoding='utf_8_sig')に変更する事が正しい対応でした
    – Tio
    Commented 2020年1月5日 0:55

1 件の回答 1

2
invalid literal for int() with base 10: '\ufeff1'

のエラーは views.py を以下の様に変更する事が正しい対応でした。

csvfile = io.TextIOWrapper(form.cleaned_data['file'], encoding='utf_8_sig')

参考としたサイトはこちらです。

djangoにて日本語のcsvをインポートする方法 - teratail

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。