使用Django框架读取Excel文件并高效存储到MySQL数据库的完整教程

在当今数据驱动的世界中，处理和存储大量数据是许多应用程序的核心需求。Django作为一个强大的Python Web框架，提供了丰富的工具和库来简化这一过程。本文将详细介绍如何使用Django框架读取Excel文件并将其高效存储到MySQL数据库中。我们将从环境配置、Excel文件读取、数据模型设计、数据导入到数据库优化等方面进行全面讲解。

一、环境配置

首先，确保你已经安装了以下必要的工具和库：

Python：建议使用Python 3.8或更高版本。
Django：通过pip install django进行安装。
Pandas：用于处理Excel文件，通过pip install pandas进行安装。
openpyxl：Pandas依赖的库，用于读取Excel文件，通过pip install openpyxl进行安装。
MySQL数据库：确保MySQL服务已安装并运行。
mysqlclient：Django连接MySQL的库，通过pip install mysqlclient进行安装。

二、创建Django项目和应用

创建Django项目：

django-admin startproject excel_to_db
cd excel_to_db

创建Django应用：

python manage.py startapp data_import

配置数据库：在settings.py中配置MySQL数据库连接：

DATABASES = {
   'default': {
       'ENGINE': 'django.db.backends.mysql',
       'NAME': 'your_database_name',
       'USER': 'your_database_user',
       'PASSWORD': 'your_database_password',
       'HOST': 'localhost',
       'PORT': '3306',
   }
}

添加应用：在settings.py的INSTALLED_APPS中添加你的应用：

INSTALLED_APPS = [
   ...
   'data_import',
]

三、设计数据模型

假设我们要导入的Excel文件包含用户数据，字段包括id、name、email和age。

定义模型：在data_import/models.py中定义模型： “`python from django.db import models

class User(models.Model):

   id = models.AutoField(primary_key=True)
   name = models.CharField(max_length=100)
   email = models.EmailField()
   age = models.IntegerField()

   def __str__(self):
       return self.name


2. **迁移数据库**：
   ```bash
   python manage.py makemigrations
   python manage.py migrate

四、读取Excel文件

上传Excel文件：在data_import/views.py中创建视图处理文件上传： “`python from django.shortcuts import render from django.http import HttpResponse from .forms import UploadFileForm import pandas as pd

def upload_file(request):

   if request.method == 'POST':
       form = UploadFileForm(request.POST, request.FILES)
       if form.is_valid():
           handle_uploaded_file(request.FILES['file'])
           return HttpResponse('File uploaded successfully!')
   else:
       form = UploadFileForm()
   return render(request, 'upload.html', {'form': form})


2. **处理上传的文件**：
   ```python
   def handle_uploaded_file(f):
       with open('temp.xlsx', 'wb+') as destination:
           for chunk in f.chunks():
               destination.write(chunk)
       import_to_database('temp.xlsx')

创建表单：在data_import/forms.py中创建表单： “`python from django import forms

class UploadFileForm(forms.Form):

   file = forms.FileField()


4. **创建模板**：
   在`data_import/templates/upload.html`中创建上传界面：
   ```html
   <!DOCTYPE html>
   <html>
   <body>
       <h1>Upload Excel File</h1>
       <form method="post" enctype="multipart/form-data">
           {% csrf_token %}
           {{ form.as_p }}
           <button type="submit">Upload</button>
       </form>
   </body>
   </html>

五、导入数据到数据库

读取Excel文件：

def import_to_database(file_path):
   df = pd.read_excel(file_path)
   for index, row in df.iterrows():
       User.objects.create(
           name=row['name'],
           email=row['email'],
           age=row['age']
       )

优化导入过程：为了提高效率，可以使用bulk_create：

def import_to_database(file_path):
   df = pd.read_excel(file_path)
   users = [User(
       name=row['name'],
       email=row['email'],
       age=row['age']
   ) for index, row in df.iterrows()]
   User.objects.bulk_create(users)

六、配置URL

在data_import/urls.py中配置URL：

from django.urls import path
from . import views

urlpatterns = [
    path('upload/', views.upload_file, name='upload_file'),
]

在项目的主urls.py中包含应用的URL：

from django.contrib import admin
from django.urls import path, include

urlpatterns = [
    path('admin/', admin.site.urls),
    path('data_import/', include('data_import.urls')),
]