【案例展示】Python与数据库交互

Original 爬虫俱乐部 Stata and Python数据分析 2022-03-15

本文作者：寇晓璇，中南财经政法大学统计与数学学院
本文编辑：赵一帆
技术总编：王子一

Stata&Python云端课程来啦！

为了感谢大家长久以来的支持和信任，爬虫俱乐部为大家送福利啦！！！Stata&Python特惠课程双双上线腾讯课堂～原价2400元的Python编程培训课程，现在仅需100元，详情请查看推文《Python云端课程福利大放送！0基础也能学~》。关于Stata，爬虫俱乐部推出了系列课程，内容包括字符串函数、正则表达式、爬虫专题和文本分析，可以随心搭配，价格美丽，物超所值，更多信息可查看Stata系列推文《与春天有个约会，爬虫俱乐部重磅推出正则表达式网络课程！》、《与春天有个约会，爬虫俱乐部重磅推出基本字符串函数网络课程》等。变的是价格，不变的是课程质量和答疑服务。对报名有任何疑问欢迎在公众号后台和腾讯课堂留言哦

/导读

一般而言，我们习惯使用Excel来对数据进行简单的处理，但Excel是有一定容量限制的，一张Excel表的最大容量为1048576行，若当观测行数超出该值，此时用Excel去处理数据就不是那么合适了。此时，数据库便派上用场啦，在之前的一篇文章《Python与数据库交互—浅述pymysql》中，向大家介绍了如何使用Python语言实现对数据库表的提取、读写、删除数据等基本操作。今天我们进一步用一个简单的案例向大家具体展示一下如何使用Python去处理数据库中的数据~

一、安装

首先，在cmd终端上输入以下命令，用以安装pymysql库。

pip install pymysql
二、案例展示

目前，已有两组xlsx格式的文件，两组数据展示了连续两天内某些商品的基本信息及销量情况。下面将讲述一下如何利用Python将其分别导入到数据库中，并对二者进行合并、筛选等简单处理。

step1 导入相关库

首先，导入我们需要的库。

import pymysqlimport pandas as pdfrom sqlalchemy import create_engine

step2 创建数据库对象

其中，host为MySQL的服务器地址，本地可用localhost表示；user为用户名；password为密码；port为MySQL的服务器端口号，默认为3306；charset为使用的字符集。

hair = pymysql.connect(host='localhost',user='root',

password='88888888',port=3306, db='hair', charset='utf8')

step3 导入Excel数据到数据库

使用pandas库，分别导入数据1、数据2到数据库中。

# 建立连接conn = create_engine('mysql+pymysql://root:88888888@localhost:3306/hair')# 导入数据表1df = pd.read_excel('数据1.xlsx')try: df.to_sql('数据1',con = conn, index= False,if_exists= 'replace')except: print('error')# 导入数据表2df = pd.read_excel('数据2.xlsx')try: df.to_sql('数据2',con = conn, index= False,if_exists= 'replace')except: print('error')此时，可以看到，两组数据就导入到了数据库中。

step4 创建游标对象

cursor = hair.cursor()

step5 操作数据

1. 更改变量名

为两张表分别修改变量名，便于更好的区分不同表中的数据。

## 要执行的SQL语句sql1 = "alter table 数据1 change 商品评分商品评分01 float"sql2 = "alter table 数据1 change 价格范围价格范围01 char(20)"sql3 = "alter table 数据1 change 销量销量01 int"sql4 = "alter table 数据1 change 评论数量评论数据01 int"sql5 = "alter table 数据2 change 商品评分商品评分02 float"sql6 = "alter table 数据2 change 价格范围价格范围02 char(20)"sql7 = "alter table 数据2 change 销量销量02 int"sql8 = "alter table 数据2 change 评论数量评论数据02 int"## 执行语句cursor.execute(sql1)cursor.execute(sql2)cursor.execute(sql3)cursor.execute(sql4)cursor.execute(sql5)cursor.execute(sql6)cursor.execute(sql7)cursor.execute(sql8)

2.合并表

按照关键词店铺名称、商品名称合并两张表，并保存到新表数据汇总中。

sql9 = """create table 数据汇总 as select A.店铺名称,A.商品名称,A.商品评分01,A.价格范围01,A.销量01,A.评论数据01,B.商品评分02,B.价格范围02,B.销量02,B.评论数据02 from 数据1 as A join 数据2 as B ON A.店铺名称 = B.店铺名称 and A.商品名称 = B.商品名称"""cursor.execute(sql9)

此时，hair数据库中多了第三张表，在该表中将数据1、数据2中的有用信息合并了起来。