当前位置:编程学习 > python >>

python对文件加载到内存进行索引缓存

前几天写了一个函数,加载文件到内存里进行查找(扔到数据库里有点慢,不想那么搞)。

数据是格式规范的数据,用'|'分隔,按列进行索引:

比如,我们对以下数据进行索引:

1|2|3

#comment

a|bc

可以选择使用第一列索引:

>>> index_file(('1|2|3', 'a|b|c', ' # a comment line '), vertical_sep,  '/' , 0)
{'1': ['1', '2', '3'], 'a': ['a', 'b', 'c']}


使用第一列和第三列作为索引:
>>> index_file(('1|2|3', 'a|b|c', ' # a comment line '), vertical_sep,  '/' , 0,2)
{'a/c': ['a', 'b', 'c'], '1/3': ['1', '2', '3']}

唯一的问题是索引和数据是绑定在一起的,遇上需要对某个文件建多个索引时,会有多个数据副本。 不过,这也可以很容易修改。


在github上查看源代码https://github.com/lbaby/javalearn/blob/master/python3/idx.py

写这个函数还遇上了一个问题:在list作为dict的key,使用dict的keys()方法时,in操作符居然是线性查找。StackOverflow的问题解释在这里:

http://stackoverflow.com/questions/10205969/why-in-operator-with-tuple-as-a-key-in-python-so-slow

 

摘自 飘零的思绪

补充:Web开发 , Python ,
CopyRight © 2022 站长资源库 编程知识问答 zzzyk.com All Rights Reserved
部分文章来自网络,