关于网站地图的问题

大家好，最近在做一个东西，类似于网站地图这种问题，就是输入一个网址，然后给出相应的超链接，具体的不太好说，大家可以参考网站地图生成器，现在主要的问题是思路呀，没有一点头绪呀，注意，爬取一个网页的所有超链接很简单，我要的是网站地图，而不是所有网页的超链接，这方面还请大家指导一下，小弟是新人，第一次发帖，希望大家多多帮助一下！最后重点，就是输入一个地址，得到这个网站的地图，当然需要考虑roboots协议的。谢谢了 --------------------编程问答-------------------- 网站地图一般是xml配置的。

参考：http://bbs.chinaz.com/archiver/Club/thread-4856560-1.html --------------------编程问答-------------------- 我知道一般都是通过xml文件配置，但是，我想要做的是输入一个ＩＰ地址，然后后台通过一定的计算，姑且算作是计算，得到相应的超链接提供给客户，当然也可以保存为sitemap.xml文件，比如说我输入一个www.163.com怎样得到这个网站的网站地图，当然如果这个网站有网站地图我就读取出来，然后显示，但是如果这个网站自身没有sitemap.xml这样类似的文件呢？我就要自己得到这个网站的地图，怎样去得到？所以这个又回到了我最开始的提问了。不要跟我说得到所有的超链接，那样得到的仅仅只是超链接，而我想要的是网站地图！当然，非常感谢您的解答 --------------------编程问答-------------------- 就没有人来看看吗？真心求解决呀？小弟分数不多，求大神解决呀？ --------------------编程问答-------------------- 和网上的网站地图工具有什么区别？ --------------------编程问答-------------------- 就是要做到网上的网站地图工具那种效果呀！主要就是想要实现那种呢，给点思路嘛，我也知道要遵守robots协议，然后使用广搜的办法，没有头绪呀！谢谢了！ --------------------编程问答-------------------- 难道大家没有时间逛论坛了吗？求解答呀 --------------------编程问答-------------------- 还以为有人来看看，结果，唉，算了哟

补充：Java ,  Web 开发