爬虫 | Code Bye

C#获取JS处理后的html代码

之前尝试过使用webBrowser来获取，可能使用的方法不对，获取不了JS执行后的代码,代码如下 namespace WindowsFormsApplication1 { public partial class Form1 : Form { public Form1() { Initi……

09-23 立刻查看

.Net技术

求帮助 C# 将数据写入数据库SQL时汉字全变成问号

在做爬虫程序的时候本来网页有些汉字信息，在本人运行VS的控制台里面显示就是一串问号“？” 当本人把数据传人数据库时，在数据库里面也显示的是一串问号，而手动在数据库输入汉字创建column是可以的，这是怎么回事啊？解决方案 10 你们怎么都拿数据说事题主的问题出现在网页捉取那块。你使用的字符编码跟网页的不一至，所以捉的内容显示为问号。假如这个问题没……

04-30 立刻查看

J2EE

甘肃企业http抓取莫名其妙失败

……

11-27 立刻查看

J2EE

Java_爬虫，怎么样抓取Js动态生成数据的页面？

很多网站是用js或Jquery 生成数据的，到后台获取到数据以后，用 document.write()或(“#id”).html=”” 的方式写到页面中，这个时候用浏览器查看源码是看不到数据的。 HttpClient是不行的，看网上说HtmlUnit，说可以获取后台js加载完后的完整页面，但是本人按照文……

11-12 立刻查看

J2EE

java 爬虫解析页面并找出链接

java 爬虫线程 package com.vdlm.utils; import java.util.*; import java.net.*; import java.io.*; import java.util.regex.*; // 搜索Web爬行者 public class SearchCrawler implements Runnab……

08-12 立刻查看

.Net技术

网站爬虫问题

爬虫加密 javascript http://www.pbc.gov.cn/publish/zhengcehuobisi/637/index.html 想从此网站中选取当日连接，然后获取汇率数据，结果最近不知道发什么神经，给搞了js加密，用webclient跟webrequest均失败，js加密破解一层后也还是不会获取真实地址，没办法，技术不到……

05-10 立刻查看

J2EE