您当前的位置:首页 > 电脑百科 > 程序开发 > 语言 > Python

如何利用Python实现SQL自动化?

时间:2020-03-28 15:06:37  来源:  作者:
如何利用Python实现SQL自动化?

来源:Pexels

 

笔者在工作中经常要使用SQL,其不乏存在恼人的细微差异和种种限制,但说到底,它是数据行业的基石。因此,对于每一位数据领域的工作者,SQL都是不可或缺的。精通SQL意义非凡。

 

SQL是很不错,但怎么能仅满足于“不错”呢?为什么不进一步操作SQL呢?

 

陈述性语句会诱发SQL限制的发生,就是说,向SQL寻求数据,SQL会在特定数据库找寻并反馈。对于许多数据提取或简单的数据操作任务来说,这已经足够了。

 

但如果有更多需求怎么办?

 

本文将为你展示如何操作。

 

从基础开始

import pyodbc
from datetime import datetime
classSql:
    def__init__(self,  database, server="XXVIR00012,55000"):
        # here we are  telling Python what to connect to (our SQL Server)
        self.cnxn = pyodbc.connect("Driver={SQL  Server Native Client 11.0};"
                                   "Server="+server+";"
                                   "Database="+database+";"
                                   "Trusted_Connection=yes;")
        # initialise  query attribute
        self.query ="--  {}nn-- Made in Python".format(datetime.now()
                                                          .strftime("%d/%m/%Y"))

这个代码就是操作MS SQL服务器的基础。只要编写好这个代码,通过Python 连接到SQL 仅需:

 

sql = Sql('database123')

很简单对么?同时发生了几件事,下面将对此代码进行剖析。class Sql:

 

首先要注意,这个代码包含在一个类中。笔者发现这是合乎逻辑的,因为在此格式中,已经对此特定数据库进行了增添或移除进程。若见其工作过程,思路便能更加清晰。

 

初始化类:

 

def __init__(self, database,server="XXVIR00012,55000"):

因为笔者和同事几乎总是连接到相同的服务器,所以笔者将这个通用浏览器的名称设为默认参数server。

 

在“Connect to Server”对话框或者MS SQL Server Management Studio的视窗顶端可以找到服务器的名称:

 

如何利用Python实现SQL自动化?

 

 

下一步,连接SQL:

 

self.cnxn =pyodbc.connect("Driver={SQL Server Native Client 11.0};"
                          "Server="+self.server+";"
                          "Database="+self.database+";"
                          "Trusted_Connection=yes;")

pyodbc 模块,使得这一步骤异常简单。只需将连接字符串过渡到 pyodbc.connect(...) 函数即可,点击以了解详情here。

 

最后,笔者通常会在 Sql 类中编写一个查询字符串,sql类会随每个传递给类的查询而更新:

self.query = "-- {}nn--Made in Python".format(datetime.now()
                                             .strftime("%d/%m/%Y"))

这样便于记录代码,同时也使输出更为可读,让他人读起来更舒服。

 

请注意在下列的代码片段中,笔者将不再更新代码中的self.query 部分。

 

组块

 

一些重要函数非常有用,笔者几乎每天都会使用。这些函数都侧重于将数据从数据库中传入或传出。

 

以下图文件目录为始:

 

如何利用Python实现SQL自动化?

 

 

对于当前此项目,需要:

 

· 将文件导入SQL

· 将其合并到单一表格内

· 根据列中类别灵活创建多个表格

 

SQL类不断被充实后,后续会容易很多:

 

import sys
sys.path.insert(0, r'C:\Usermediumpysqlpluslib')
import os
from data importSql
sql =Sql('database123')  # initialise the Sql object
directory =r'C:\Usermediumdata\'  # this is where our generic data is  stored
file_list = os.listdir(directory)  # get a list of all files
for file in  file_list:  # loop to import  files to sql
    df = pd.read_csv(directory+file)  # read file to dataframe
    sql.push_dataframe(df, file[:-4])
# now we  convert our file_list names into the table names we have imported to SQL
table_names = [x[:-4] for x in file_list]
sql.union(table_names, 'generic_jan')  # union our files into one new table  called 'generic_jan'
sql.drop(table_names)  # drop our original tables as we now  have full table
# get list of  categories in colX, eg ['hr', 'finance', 'tech', 'c_suite']
sets =list(sql.manual("SELECT  colX AS 'category' FROM generic_jan GROUP BY colX", response=True)['category'])
for category in sets:
    sql.manual("SELECT *  INTO generic_jan_"+category+" FROM  generic_jan WHERE colX = '"+category+"'")

从头开始。

 

入栈数据结构

 

defpush_dataframe(self, data,  table="raw_data", batchsize=500):
    # create execution cursor
    cursor = self.cnxn.cursor()
    # activate fast execute
    cursor.fast_executemany =True
    # create create table statement
    query ="CREATE  TABLE ["+ table +"] (n"
    # iterate through each column to be  included in create table statement
    for i inrange(len(list(data))):
        query +="t[{}]  varchar(255)".format(list(data)[i])  # add column (everything is varchar  for now)
        # Append correct  connection/end statement code
        if i !=len(list(data))-1:
            query +=",n"
        else:
            query +="n);"
    cursor.execute(query)  # execute the create table statement
    self.cnxn.commit()  # commit changes
    # append query to our SQL code logger
    self.query += ("nn--  create tablen"+ query)
    # insert the data in batches
    query = ("INSERT  INTO [{}] ({})n".format(table,
                                               '['+'], ['  # get columns
                                               .join(list(data)) +']') +
             "VALUESn(?{})".format(",  ?"*(len(list(data))-1)))
    # insert data into target table in  batches of 'batchsize'
    for i inrange(0, len(data), batchsize):
        if i+batchsize >len(data):
            batch = data[i: len(data)].values.tolist()
        else:
            batch = data[i: i+batchsize].values.tolist()
        # execute batch  insert
        cursor.executemany(query, batch)
        # commit insert  to SQL Server
        self.cnxn.commit()

此函数包含在SQL类中,能轻松将Pandas dataframe插入SQL数据库。

 

其在需要上传大量文件时非常有用。然而,Python能将数据插入到SQL的真正原因在于其灵活性。

 

要横跨一打Excel工作簿才能在SQL中插入特定标签真的很糟心。但有Python在,小菜一碟。如今已经构建起了一个可以使用Python读取标签的函数,还能将标签插入到SQL中。

 

Manual(函数)

 

defmanual(self, query,  response=False):
    cursor = self.cnxn.cursor()  # create execution cursor
    if response:
        returnread_sql(query,  self.cnxn)  # get sql query  output to dataframe
    try:
        cursor.execute(query)  # execute
    except pyodbc.ProgrammingErroras error:
        print("Warning:n{}".format(error))  # print error as a warning
    self.cnxn.commit()  # commit query to SQL Server
    return"Query  complete."

此函数实际上应用在union 和 drop 函数中。仅能使处理SQL代码变得尽可能简单。

 

response参数能将查询输出解压到DataFrame。generic_jan 表中的colX ,可供摘录所有独特值,操作如下:

 

sets =list(sql.manual("SELECT colX AS 'category' FROM generic_jan GROUP BYcolX", response=True)['category'])

Union(函数)

 

构建 了manual 函数,创建 union 函数就简单了:

 

defunion(self,  table_list, name="union", join="UNION"):
    # initialise the query
    query ="SELECT *  INTO ["+name+"] FROM (n"
    # build the SQL query
    query +=f'n{join}n'.join(
                        [f'SELECT [{x}].* FROM [{x}]'for x in table_list]
                        )
    query +=")  x"  # add end of  query
    self.manual(query, fast=True)  # fast execute

创建 union 函数只不过是在循环参考 table_list提出的表名,从而为给定的表名构建 UNION函数查询。然后用self.manual(query)处理。

Drop(函数)

 

上传大量表到SQL服务器是可行的。虽然可行,但会使数据库迅速过载。 为解决这一问题,需要创建一个drop函数:

 

defdrop(self,  tables):
    # check if single or list
    ifisinstance(tables, str):
        # if single  string, convert to single item in list for for-loop
        tables = [tables]
    for table in tables:
        # check for  pre-existing table and delete if present
        query = ("IF  OBJECT_ID ('["+table+"]', 'U')  IS NOT NULL "
                 "DROP TABLE  ["+table+"]")
        self.manual(query)  # execute

 

view rawpysqlplus_drop_short.py hosted with ❤ by GitHub

点击

https://gist.github.com/jamescalam/b316c1714c30986fff58c22b00395cc0

得全图

同样,此函数也由于 manual 函数极为简单。操作者可选择输入字符到tables ,删除单个表,或者向tables提供一列表名,删除多个表。

当这些非常简单的函数结合在一起时,便可以利用Python的优势极大丰富SQL的功能。

笔者本人几乎天天使用此法,其简单且十分有效。

希望能够帮助其他用户找到将Python并入其SQL路径的方法,感谢阅读!



Tags:Python   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
大家好,我是菜鸟哥,今天跟大家一起聊一下Python4的话题! 从2020年的1月1号开始,Python官方正式的停止了对于Python2的维护。Python也正式的进入了Python3的时代。而随着时间的...【详细内容】
2021-12-28  Tags: Python  点击:(1)  评论:(0)  加入收藏
学习Python的初衷是因为它的实践的便捷性,几乎计算机上能完成的各种操作都能在Python上找到解决途径。平时工作需要在线学习。而在线学习的复杂性经常让人抓狂。费时费力且效...【详细内容】
2021-12-28  Tags: Python  点击:(1)  评论:(0)  加入收藏
Python 是一个很棒的语言。它是世界上发展最快的编程语言之一。它一次又一次地证明了在开发人员职位中和跨行业的数据科学职位中的实用性。整个 Python 及其库的生态系统使...【详细内容】
2021-12-27  Tags: Python  点击:(2)  评论:(0)  加入收藏
菜单驱动程序简介菜单驱动程序是通过显示选项列表从用户那里获取输入并允许用户从选项列表中选择输入的程序。菜单驱动程序的一个简单示例是 ATM(自动取款机)。在交易的情况下...【详细内容】
2021-12-27  Tags: Python  点击:(4)  评论:(0)  加入收藏
近日只是为了想尽办法为 Flask 实现 Swagger UI 文档功能,基本上要让 Flask 配合 Flasgger, 所以写了篇 Flask 应用集成 Swagger UI 。然而不断的 Google 过程中偶然间发现了...【详细内容】
2021-12-23  Tags: Python  点击:(6)  评论:(0)  加入收藏
有不少同学学完Python后仍然很难将其灵活运用。我整理15个Python入门的小程序。在实践中应用Python会有事半功倍的效果。01 实现二元二次函数实现数学里的二元二次函数:f(x,...【详细内容】
2021-12-22  Tags: Python  点击:(32)  评论:(0)  加入收藏
Verilog是由一个个module组成的,下面是其中一个module在网表中的样子,我只需要提取module名字、实例化关系。module rst_filter ( ...); 端口声明... wire定义......【详细内容】
2021-12-22  Tags: Python  点击:(9)  评论:(0)  加入收藏
运行环境 如何从 MP4 视频中提取帧 将帧变成 GIF 创建 MP4 到 GIF GUI ...【详细内容】
2021-12-22  Tags: Python  点击:(6)  评论:(0)  加入收藏
面向对象:Object Oriented Programming,简称OOP,即面向对象程序设计。类(Class)和对象(Object)类是用来描述具有相同属性和方法对象的集合。对象是类的具体实例。比如,学生都有...【详细内容】
2021-12-22  Tags: Python  点击:(9)  评论:(0)  加入收藏
所谓内置函数,就是Python提供的, 可以直接拿来直接用的函数,比如大家熟悉的print,range、input等,也有不是很熟,但是很重要的,如enumerate、zip、join等,Python内置的这些函数非常...【详细内容】
2021-12-21  Tags: Python  点击:(5)  评论:(0)  加入收藏
▌简易百科推荐
大家好,我是菜鸟哥,今天跟大家一起聊一下Python4的话题! 从2020年的1月1号开始,Python官方正式的停止了对于Python2的维护。Python也正式的进入了Python3的时代。而随着时间的...【详细内容】
2021-12-28  菜鸟学python    Tags:Python4   点击:(1)  评论:(0)  加入收藏
学习Python的初衷是因为它的实践的便捷性,几乎计算机上能完成的各种操作都能在Python上找到解决途径。平时工作需要在线学习。而在线学习的复杂性经常让人抓狂。费时费力且效...【详细内容】
2021-12-28  风度翩翩的Python    Tags:Python   点击:(1)  评论:(0)  加入收藏
Python 是一个很棒的语言。它是世界上发展最快的编程语言之一。它一次又一次地证明了在开发人员职位中和跨行业的数据科学职位中的实用性。整个 Python 及其库的生态系统使...【详细内容】
2021-12-27  IT资料库    Tags:Python 库   点击:(2)  评论:(0)  加入收藏
菜单驱动程序简介菜单驱动程序是通过显示选项列表从用户那里获取输入并允许用户从选项列表中选择输入的程序。菜单驱动程序的一个简单示例是 ATM(自动取款机)。在交易的情况下...【详细内容】
2021-12-27  子冉爱python    Tags:Python   点击:(4)  评论:(0)  加入收藏
有不少同学学完Python后仍然很难将其灵活运用。我整理15个Python入门的小程序。在实践中应用Python会有事半功倍的效果。01 实现二元二次函数实现数学里的二元二次函数:f(x,...【详细内容】
2021-12-22  程序汪小成    Tags:Python入门   点击:(32)  评论:(0)  加入收藏
Verilog是由一个个module组成的,下面是其中一个module在网表中的样子,我只需要提取module名字、实例化关系。module rst_filter ( ...); 端口声明... wire定义......【详细内容】
2021-12-22  编程啊青    Tags:Verilog   点击:(9)  评论:(0)  加入收藏
运行环境 如何从 MP4 视频中提取帧 将帧变成 GIF 创建 MP4 到 GIF GUI ...【详细内容】
2021-12-22  修道猿    Tags:Python   点击:(6)  评论:(0)  加入收藏
面向对象:Object Oriented Programming,简称OOP,即面向对象程序设计。类(Class)和对象(Object)类是用来描述具有相同属性和方法对象的集合。对象是类的具体实例。比如,学生都有...【详细内容】
2021-12-22  我头秃了    Tags:python   点击:(9)  评论:(0)  加入收藏
所谓内置函数,就是Python提供的, 可以直接拿来直接用的函数,比如大家熟悉的print,range、input等,也有不是很熟,但是很重要的,如enumerate、zip、join等,Python内置的这些函数非常...【详细内容】
2021-12-21  程序员小新ds    Tags:python初   点击:(5)  评论:(0)  加入收藏
Hi,大家好。我们在接口自动化测试项目中,有时候需要一些加密。今天给大伙介绍Python实现各种 加密 ,接口加解密再也不愁。目录一、项目加解密需求分析六、Python加密库PyCrypto...【详细内容】
2021-12-21  Python可乐    Tags:Python   点击:(8)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条