python如何访问数据库

一、python如何访问数据库

python提供了很多数据库接口，常用的数据库有 MS SQL Server/mysql/oracle等。

打开链接

是python关于数据库接口的一个总结，可以看到python支持的访问的数据库系统。

python主要是通过模块和数据库连接的。

如果使用anconda，本身就会集合很多模块，不需要手动安装。如果用pycharm就要手动安装模块。

下载模块扩展包放到路径下——>cmd找到相应路径——> pip install+扩展包名字

下面列举一些常用连接数据库的模块：pymssql/ sqlite3/ PyMySQL/pyodbc/odbc/adodbapi

不同模块连接的数据库不同，支持的版本系统有的也不一样。但是大体用法都是相近的，因为有DB-API

在没有DB-API之前，不同数据库有不同的数据库接口程序，这就导致python访问 database的接口程序非常混乱。如果我们学习了python访问 mysql的接口程序，然后要切换到另一个数据库上，我们还要在学习另外一个数据库的接口程序。python DB-API就是为了解决接口程序混乱而生成的。有了DB-API,在不同数据库上移植代码就变得简单的多了。

Python定义了一套操作数据库的 DB-API接口，它是一个规范，定义了一系列必须的对象和数据库存取方式，以便为不同的底层数据库系统提供一致的访问接口

这个链接就是python官方给定的 DB-API的说明

?Connect()创建连接:host/server/user/password/db connect方法生成一个connect对象,我们通过这个对象来访问数据库。符合标准的模块都会实现connect方法。

?commit():提交当前事务。做出某些更改后确保已经进行了提交，这样才可以将这些修改真正地保存到database中

?rollback()回滚上一次调用 commit（）以来对数据库所做的更改

?cursor():创建游标。系统为用户开通的一个数据缓冲区，用于存放SQL语句执行结果。cursor游标是有状态的，它可以记录当前已经取到结果的第几个记录了，因此，一般你只可以遍历结果集一次。在上面的情况下，如果执行fetchone()会返回为空。这一点在测试时需要注意

?Execute()执行一个数据库查询或命令。 execute执行sql语句之后运行的结果不会直接output出来，而是放到了一个缓存区，要用 fetch语句+print可以查询sql运行的结果

?fetchmany(size)得到结果集的下几行

?fetchall()返回结果集中剩下的所有行

3.4Python DB--API的工作原理及流程：

如图所示如果把python和数据库比作两个不同的地点， connection就是路，能连接python和database。cursor就像在路上行驶的小货车，可以用于执行sql语句，以及存储sql运行的结果。

4.2创建游标：游标创建之后就可以对数据库进行查询更改了！

4.3对数据进行操作（创建表、插入行、更新数据、增加列、删除行、列、表）：

使用游标的时候要注意，每次连接只能有一个游标查询处于活跃状态。 code演示：

execute()循环和 executemany()插入100000条数据测速：

二、如何用python连接mysql数据库

1、MySQL数据库要用MySQLdb模块,但Python用来链接MySQL的第三方库MySQLdb不支持Python3.x

特别说明：我在我的电脑上实验时，我的python是2.7.2版本，安装对应版本的MySQLdb之后直接可以运行，并与数据库连接成功，所以如果大家也像我一样顺利的话，下面的就不需要看了，直接跳过，看第2点如何执行sql语句即可！如果安装之后出现异常，可以参考一下下面的解决办法。

连接的关键是安装MySQLdb模块要下载与Python相对应的版本：

下载好后安装，它会自动检测到计算机Python的安装路径，并自动填写模块解压路径（我的是：D:\ProgramFiles\ActivePython 2.6.6.17\Lib\site-packages\）。

但解压完成后并不能使用，还要修改MySQLdb模块下的一些文件：

①.在MySQLdb目录下（我的是：D:\ProgramFiles\ActivePython 2.6.6.17\Lib\site-packages\MySQLdb）找到__init__.py：

注释第34、35行的from setsimport ImmutableSet、class DBAPISet(ImmutableSet):，在后面添加class DBAPISet(frozenset):

# from sets import ImmutableSet

# class DBAPISet(ImmutableSet):

注释第37行的from sets import BaseSet, Set，将第45行的return Set([ i for i in s.split(',') ifi ])中的Set改为set；同样将第129行的Set: Set2Str,中的Set改为set（不要修改Set2Str），到这里就修改完毕了

conn=MySQLdb.connect(host="localhost",user="root",passwd="sa",db="mytable")

host:连接的数据库服务器主机名，默认为本地主机(localhost)。

user:数据库登陆名.默认是当前用户.

passwd:数据库登陆的秘密.默认为空.

db:要使用的数据库名.没有默认值.

port:MySQL服务使用的TCP端口.默认是3306.

conn连接有两个重要的方法commit【提交新增和修改】,rollback【撤销新增或修改】

我们要使用连接对象获得一个cursor对象,接下来,我们会使用cursor提供的方法来进行工作.

这些方法包括两大类:1.执行命令,2.接收返回值

callproc(self, procname, args):用来执行存储过程,接收的参数为存储过程名和参数列表,返回值为受影响的行数

execute(self, query, args):执行单条sql语句,接收的参数为sql语句本身和使用的参数列表,返回值为受影响的行数

executemany(self, query, args):执行单挑sql语句,但是重复执行参数列表里的参数,返回值为受影响的行数

nextset(self):移动到下一个结果集

fetchall(self):接收全部的返回结果行.

fetchmany(self, size=None):接收size条返回结果行.如果size的值大于返回的结果行的数量,则会返回cursor.arraysize条数据.

fetchone(self):返回一条结果行.

scroll(self, value, mode='relative'):移动指针到某一行.如果mode='relative',则表示从当前所在行移动value条,如果mode='absolute',则表示从结果集的第一行移动value条.

#使用sql语句,这里要接收的参数都用%s占位符.要注意的是,无论你要插入的数据是什么类型,占位符永远都要用%s

sql="insert into cdinfo values(%s,%s,%s,%s,%s)"

param=(title,singer,imgurl,url,alpha)

cursor.execute("select* from cdinfo")

#我们使用了fetchall这个方法.这样,cds里保存的将会是查询返回的全部结果.每条结果都是一个tuple类型的数据,这些tuple组成了一个tuple

#因为是tuple,所以可以这样使用结果集

#或者直接显示出来,看看结果集的真实样子

#如果需要批量的插入数据,就这样做

sql="insert into cdinfo values(0,%s,%s,%s,%s,%s)"

#每个值的集合为一个tuple,整个参数集组成一个tuple,或者list

param=((title,singer,imgurl,url,alpha),(title2,singer2,imgurl2,url2,alpha2))

#使用executemany方法来批量的插入数据.这真是一个很酷的方法!

n=cursor.executemany(sql,param)

需要注意的是(或者说是我感到奇怪的是),在执行完插入或删除或修改操作后,需要调用一下conn.commit()方法进行提交.这样,数据才会真正保存在数据库中.我不清楚是否是我的mysql设置问题,总之,今天我在一开始使用的时候,如果不用commit,那数据就不会保留在数据库中,但是,数据确实在数据库呆过.因为自动编号进行了累积,而且返回的受影响的行数并不为0.

需要分别的关闭指针对象和连接对象.他们有名字相同的方法

1 Python文件设置编码 utf-8（文件前面加上#encoding=utf-8)

3 Python连接MySQL是加上参数 charset=utf8

4设置Python的默认编码为 utf-8(sys.setdefaultencoding(utf-8)

sys.setdefaultencoding('utf-8')

db=MySQLdb.connect(user='root',charset='utf8')

注：MySQL的配置文件设置也必须配置成utf8

Con= MySQLdb.connect(host='localhost',user='root',passwd='root',db='abc')

sql="insert into【table】(字段,字段) values(值，值)"

sql="update【table】 set字段=‘值’where条件"

sql="delete from【table】where条件"

cur.execute('select* from tables')

其返回值为SQL语句得到的行数，如：2L，表示2行。

然后，可以从该对象的fetchone或fetchall方法得到行信息。

指针对象的fetchone()方法，是每次得到一行的tuple返回值：

>>> row=cur.fetchone()

('user1','52c69e3a57331081823331c4e69d3f2e', 1000L, 1000L,'/home/FTP/user1','')

指针对象的fetchall()方法，可取出指针结果集中的所有行，返回的结果集一个元组(tuples)：

>>> cur.scroll(0,'absolute')

>>> row=cur.fetchall()

(('user1','52c69e3a57331081823331c4e69d3f2e', 1000L, 1000L,'/home/FTP/user1',''),('user2','7e58d63b60197ceb55a1c487989a3720', 1000L, 1000L,'/home/FTP/user2', None))

当使用fetchone()方法是，指针是会发生移动的。所以，若不重置指针，那么使用fetchall的信息将只会包含指针后面的行内容。

int：移动的行数，整数；在相对模式下，正数向下移动，负值表示向上移动。

parm：移动的模式，默认是relative，相对模式；可接受absoulte，绝对模式。

修改数据，包括插入、更新、删除。它们都是使用指针对象的execute()方法执行：

cur.execute("insert into table(row1, row2) values('111','222')")

cur.execute("update table set row1='test' where row2='row2'")

cur.execute("delete from table where row1='row1'")

因单引号“'”用于SQL语句中的标识，所以，python中的字符串需使用双引号括住。

此外，也可以使用python的“格式化字符串”写法，简化命令，例如：

cur.execute("update table set row1='%s' where row2='%s'"%('value1','value2'))

※请注意，'%s'的单引号是SQL语句的间隔符，'value1'的单引号是python的字符串间隔符，其含义是不同的。是否需要间隔符，以及使用双引号还是单引号作为间隔，需根据其含义决定。例如，还有：

cur.execute("update FTPUSERS set passwd=%s where userid='%s'"%("md5('123')",'user2'))

这里，paswd=%s是因SQL的md5()函数是不需要单引号间隔的；"md5('123')"是python的字符串中含有单引号，所以用双引号括住。

一般情况下，MySQLdb模块会自动提交修改。但我们在更新数据后，手动运行一次：

需要分别的关闭指针对象和连接对象.他们有名字相同的方法

三、如何用python连接 tableau 数据库,然后读取数据

选择“数据”>“连接到数据”或按键盘上的 Ctrl+ D。也可以在开始页面上选择“连接到数据”选项。

2.在“连接到数据”页面上，选择要连接的数据类型。也可以选择保存的数据连接（TDS文件）打开一个 Tableau Server数据源。

3.连接到数据的另一种方式是从工作簿导入。工作簿可以包含与不同数据源的多个连接。若要从工作簿导入连接，请在“连接到数据”对话框中单击“选择保存的连接”选项卡底部的“从工作簿导入”按钮。

可以显示有关连接的信息，方法是在“数据”菜单中选择数据源，然后选择“属性”。下面显示了示例数据源的属性。

对于大多数关系数据源，可以连接到特定查询，而非整个数据源。

在连接对话框中选择“自定义 SQL”。

在文本框中键入或粘贴查询。单击文本框右上角的“浏览”按钮会打开更大的编辑窗口，可进行更复杂的查询或添加参数。

注意：完成连接后，Tableau的数据窗口只显示相关字段。

如果 SQL查询引用重复列，则在尝试使用 Tableau中的列之一时，可能会出现错误。即使查询有效，也会发生这种情况。例如，考虑以下查询：

SELECT* from authors, titleauthor where authors.au_id= titleauthor.au_id该查询有效，但因为 au_id字段在“authors”表和“titleauthor”表中都存在，因此该字段不明确。Tableau将连接到查询，但只要尝试使用 au_id字段，就会出现错误。原因是 Tableau不知道要引用哪个表。

在“数据”菜单中选择数据源，然后选择“编辑连接”。