Java_爬虫，怎么样抓取Js动态生成数据的页面？

码拜

9年 ago

很多网站是用js或Jquery 生成数据的，到后台获取到数据以后，用 document.write()或(“#id”).html=”” 的方式写到页面中，这个时候用浏览器查看源码是看不到数据的。
HttpClient是不行的，看网上说HtmlUnit，说可以获取后台js加载完后的完整页面，但是本人按照文章上说的写了，都不好使。
求指导答，其中典型的就是这个链接的页面，怎么能在java程序中获取其中的数据？
http://xinjinqiao.tprtc.com/admin/main/flrpro.do

试试

String s= "http://xinjinqiao.tprtc.com/admin/main/pro!lrprolist.do";
		 URL url = new URL(s);
		 HttpURLConnection http = (HttpURLConnection) url.openConnection();
		 http.setDoOutput(true);  
		 http.setDoInput(true);  
         http.setRequestMethod("POST");  
		 http.connect();  
		 OutputStreamWriter out = new OutputStreamWriter(http.getOutputStream(), "UTF-8"); 

		 String input = "name=flr&nowpage=1&pagesize=10"; 
		 
		 out.append(input);  
         out.flush();  
         out.close();  
         int length = (int) http.getContentLength();
         System.out.println(length);
     	 BufferedReader reader = new BufferedReader(new InputStreamReader(http.getInputStream()));
 		 String line;
 		 StringBuffer buffer = new StringBuffer();
 		 while ((line = reader.readLine()) != null) {
 			 buffer.append(line);
 		 }
 		 reader.close();
 		 http.disconnect();
 		 System.out.println(buffer.toString());

代码可以看到，你也可以抓包看看。