将sqlite查询结果导入到文本文件
将sqlite查询结果导入到文本文件
下班前接到一个需求，要将sqlite数据库中的某个字段导出保存到一个文本中，数据大概有1000w左右，于是我就写了一个python脚本，来做这个事情。
www.zzzyk.com
01
#!/usr/xxx/bin/python
02
03
import os,sys
04
import sqlite3
05
import logging
06
07
sys.path.append('.')
08
# logger configure
09
logger = logging.getLogger()
10
handler = logging.FileHandler('/home/admin/tmp/xxx.txt')
11
logger.addHandler(handler)
12
logger.setLevel(logging.NOTSET)
13
14
sqlfile_path = '/home/admin/tmp/user.sql'
15
16
def write_to_file(guid):
17
total_count = get_total_count(guid)
18
page_size = 10000
19
offset_num = 0
20
op_num = 0
21
while op_num < total_count:
22
array_list = get_data([guid,page_size,op_num])
23
offset_num = offset_num + 1
24
op_num = offset_num * page_size
25
for n in array_list:
26
logger.info(n)
27
28
def get_total_count(guid):
29
conn = sqlite3.connect(sqlfile_path)
30
cur = conn.cursor()
31
cur.execute('select count(*) from table_name where id = \'' + guid + '\'')
32
try:
33
count = cur.fetchone()[0]
34
except:
35
count = 0
36
cur.close()
37
conn.close()
38
return count
39
40
def get_data(item):
41
conn = sqlite3.connect(sqlfile_path)
42
cur = conn.cursor()
43
cur.execute('select name from table_name where id = \'' + item[0] + '\' limit ' + item[1] + ' offset ' + item[2])
44
array_list = []
45
for r in cur.fetchall():
46
array_list.append(r[0])
47
cur.close()
48
conn.close()
49
return array_list
50
51
if '__maiin__' == __name__:
52
for guid in ['123456789','987654321']:
53
write_to_file(guid)
考虑到数据还是有一点大的，所以就每次查询10000条操作，写完后运行起来，然后我就下班走人了，第二天上班发现这个脚本居然还在跑着，一晚上还没有结束。那叫一个头疼啊。。。 这不是 GC 。
既然这么慢，那我就慢慢等吧，然后开始做其他事情去了，GC来了，兄弟我在测试其他程序的时候，一个不小心，在运行脚本的时候，把python脚本跑出来的文本给删了，连python脚本也一起全删了，当我意识过来的时候，泪流满面啊。。。
就在我沮丧的时候，旁边一同学问了我情况，然后默默的给了我一行代码：
1 sqlite3 user.sql "select name from table_name where id = '123456789'" >> xxx.txt
之后十分钟，数据全导出来了，效率真TM高。
