用 ScrapySharp 下载天涯图片

let urlToPicture (filePath: string) (url: string) =
// let url = "http://img3.laibafile.cn/getimgXXX/3/1/photo3/2011/7/25/middle/75564433_25049066_middle.jpg"
let path = filePath.Substring(0, filePath.LastIndexOf("."))
let ty ="http://bbs.tianya.cn"

let web = new ScrapySharp.Network.ScrapingBrowser()
web.NavigateToPage( new Uri(ty)) |> ignore

if not( IO.Directory.Exists( path ) ) then IO.Directory.CreateDirectory( path ) |> ignore
let file = url.Substring( url.LastIndexOf("/") )
let pic = (web.NavigateToPage( new Uri( url ))).RawResponse.Body
printfn "%s" url
File.WriteAllBytes( ( path + file ), pic )

用 ScrapySharp 下载天涯图片相关推荐

用 ScrapySharp 并行下载天涯图片
用 ScrapySharp 并行下载天涯图片 #r "HtmlAgilityPack.dll" #r "ScrapySharp.dll" open System ...
[爬虫学习笔记]C# 使用 ScrapySharp 并行下载天涯图片
最近因为一个作业需要完成CNKI爬虫,研究爬虫架构的时候发现了这个疑似移植于Python的著名开源爬虫框架Scrapy的ScrapySharp,然而在网上寻找之后只发现了这个F#的Demo,就使用原文 ...
php完美实现下载远程图片保存到本地（保存微信头像）
2019独角兽企业重金招聘Python工程师标准>>> /** * php完美实现下载远程图片保存到本地 * @param: 文件url,保存文件目录,保存文件名称,使用的下载方式 ...
python下载图片-Python下载URL图片
所谓下载URL图片就是指通过网络图片的URL去用脚本自动获取和下载图片到本地. 这里介绍两种方法,一种需要用到第三方库requests,一种直接使用Python自带的库urllib. 首先找到你要下载 ...
python批量下载网页文件-Python批量下载网页图片详细教程
目标:爬取某个网站上n多页的链接,每个链接有n多张图片,每一页对应一个文件夹,每个文件夹包含n个链接所对应的文件夹. 步骤1:获得网页的所有链接,访问所有链接,获得链接里的图片地址. 步骤2:根据图片 ...
python下载网页里面所有的图片-Python批量下载网页图片详细教程
很多朋友在网上查找批量下载图片的方法~发觉挺凌乱的,无从下手.这里绿茶小编就来跟大家分享下使用Python批量下载图片方法. 目标:爬取某个网站上n多页的链接,每个链接有n多张图片,每一页对应一个文件 ...
aspx网页背景图片设置代码_python requests,BeautifulSoup批量下载360图片
本代码演示通过python的requests,BeautifulSoup库批量下载360图片,并保存在本机的路径代码如下: #BeautifulSoup库是网页爬虫解析库,主要用来对HTML源代码进 ...
php curl 下载图片,CURL实现下载远程图片并保存到本地
WEB开发中我们经常使用一些简单的采集功能,这样可以自动把远程服务器的图片或资源直接采集保存到本地服务器中:实现下载远程图片并把它保存到本地有很多方法,比如可以直接能过file_get_content ...
下载文章图片 php,PHP下载文章中的图片+处理文章中的字符
//保存路径 $d = date('Ym', time()); $dirslsitss = '/uploads/images/'.$d; if(!file_exists($dirslsitss)) { ...

用 ScrapySharp 下载天涯图片

用 ScrapySharp 下载天涯图片相关推荐

最新文章

热门文章