聚合网站数据提取整合分析
想做一个聚合网站,将几个门户一些特定模板的数据抓取下来,然后放在我的站上进行分类对比。现在有个数据分析问题很麻烦,如果我每天跑服务来进行数据抓取的话,那我的服务器将承载好大的压力,又如果用户在直接搜索的关键的时候,我直接一边抓取一边显示,似乎,效果又不打(这取决个人门户的响应速度),不知道,各位达人有没有好的新思路和想法。 --------------------编程问答-------------------- 你是说这个?ppsoo.com
--------------------编程问答-------------------- 楼主你的功能是不是跟我们的站:骑股财经:http://www.9677.cc类似。
--------------------编程问答-------------------- 干这活不是一两台服务器就能干的
我们仅仅一个网站的流量分析就要3台服务器
一个专门抓取数据的
一个分析的
一个报表的
补充:.NET技术 , 非技术区