python对文件加载到内存进行索引缓存
前几天写了一个函数,加载文件到内存里进行查找(扔到数据库里有点慢,不想那么搞)。
数据是格式规范的数据,用'|'分隔,按列进行索引:
比如,我们对以下数据进行索引:
1|2|3
#comment
a|bc
可以选择使用第一列索引:
>>> index_file(('1|2|3', 'a|b|c', ' # a comment line '), vertical_sep, '/' , 0)
{'1': ['1', '2', '3'], 'a': ['a', 'b', 'c']}
使用第一列和第三列作为索引:
>>> index_file(('1|2|3', 'a|b|c', ' # a comment line '), vertical_sep, '/' , 0,2)
{'a/c': ['a', 'b', 'c'], '1/3': ['1', '2', '3']}
唯一的问题是索引和数据是绑定在一起的,遇上需要对某个文件建多个索引时,会有多个数据副本。 不过,这也可以很容易修改。
在github上查看源代码https://github.com/lbaby/javalearn/blob/master/python3/idx.py
写这个函数还遇上了一个问题:在list作为dict的key,使用dict的keys()方法时,in操作符居然是线性查找。StackOverflow的问题解释在这里:
http://stackoverflow.com/questions/10205969/why-in-operator-with-tuple-as-a-key-in-python-so-slow
摘自 飘零的思绪
补充:Web开发 , Python ,