当前位置:编程学习 > JAVA >>

利用selenium获取动态页面的html数据

selenium调用浏览器获取动态html值,再调用其API,可以很方面获取动态数据。经测试,确实简单易用,至于效率方面就没细究了。代码参考:http://my.oschina.net/flashsword/blog/147334(向原作者致敬)。
【前言】 我看其他文章中说到设置环境变量path,还提及selenium-server和Selenium-rc,我这篇文章没那么复杂,没有设置path,只是使用webdriver技术,调用本机chrome,获取动态页面渲染后的html,在进行解析。代码如下:
public static void main(String[] args) {  
        System.getProperties().setProperty("webdriver.chrome.driver",  
            "D:\\Code\\chromedriver.exe"); //这个参数就是【chrome驱动器的位置】  
    WebDriver webDriver = new ChromeDriver();  
    webDriver.get("http://www.facejoking.com/top/12001/0");  
    WebElement webElement = webDriver.findElement(By.id("ColumnContainer"));  
    List<WebElement> listLink = webElement.findElements(By.tagName("a"));  
    for (int i = 0; (i + 2) < 50; i += 2) {  
        System.out.println(listLink.get(i).getAttribute("href") + "/"  
                + listLink.get(i + 1).getText());  
    }  
    System.out.println("chrome driver");  
        // 关闭窗口,释放资源。  
    webDriver.close();  
}  
 
补充:软件开发 , Java ,
CopyRight © 2022 站长资源库 编程知识问答 zzzyk.com All Rights Reserved
部分文章来自网络,