标签:抓取
C#本人本人做一个网站图片的抓取
本人本人做了一个网站图片的抓取, 感觉速度有点慢抓取4000张图片 可能得用15分钟左右的时间, 本人百度看 用线程可以加快抓取,然后创建了5个线程抓取,但是 5个线程是同步执行 同样的操作 一个图片就抓取了5次, 代码应该怎么写 才能让线程 不抓取同样的内容呢 解决方案 5 页号(序数)应作为参数传入,而不是在 uploadimg 中循环产生 也就是 u……
04-27 立刻查看
本人本人做了一个网站图片的抓取, 感觉速度有点慢抓取4000张图片 可能得用15分钟左右的时间, 本人百度看 用线程可以加快抓取,然后创建了5个线程抓取,但是 5个线程是同步执行 同样的操作 一个图片就抓取了5次, 代码应该怎么写 才能让线程 不抓取同样的内容呢 解决方案 5 页号(序数)应作为参数传入,而不是在 uploadimg 中循环产生 也就是 u……