imagemagick图片识别技术数据抓取(转自:http://michael-roshen.iteye.com/blog/1982817)
安装:
sudo apt-get install imagemagick
ImageMagick 是一个用来创建、编辑、合成图片的软件。它可以读取、转换、写入多种格式的图片。图片切割、颜色替换、各种效果的应用,图片的旋转、组合,文本,直线, 多边形,椭圆,曲线,附加到图片伸展旋转。ImageMagick是免费软件:全部源码开放,可以自由使用,复制,修改,发布。支持大多数的操作系统。
检测是否支持指定格式 identify -list format | grep PNG
sudo apt-get install tesseract-ocr
OCR(Optical Character Recognition):光学字符识别,是指对图片文件中的文字进行分析识别,获取的过程。
Tesseract:开源的OCR识别引擎,初期Tesseract引擎由HP实验室研发,后来贡献给了开源软件业,后经由Google进行改进,消除bug,优化,重新发布
gem install mini_magick
mini_magick 是用ruby对ImageMagick命令的封装,可以这样简单的使用
image = MiniMagick::Image.open("input.jpg") image.resize "100x100" image.write "output.jpg"
image = MiniMagick::Image.open("http://www.google.com/images/logos/logo.png") image.resize "5x5" image.format "gif" image.write "localcopy.gif"
https://github.com/minimagick/minimagick
gem install rtesseract
rtesseract对了tesseract-ocr进行了封装
识别验证码:
RTesseract.new(img.path).to_s
在 ubuntu12.04上安装如果出现如下问题,请安装 libmagickwand-dev
sudo apt-get install libmagickwand-dev
zhaol-a@ubuntu:~/gcj_project$ gem install rtesseract
/usr/share/ruby-rvm/rubies/ruby-1.9.3-p392/lib/ruby/1.9.1/yaml.rb:56:in `<top (required)>':
It seems your ruby installation is missing psych (for YAML output).
To eliminate this warning, please install libyaml and reinstall your ruby.
Building native extensions. This could take a while...
ERROR: Error installing rtesseract:
ERROR: Failed to build gem native extension.
/usr/share/ruby-rvm/rubies/ruby-1.9.3-p392/bin/ruby extconf.rb
checking for Ruby version >= 1.8.5... yes
checking for gcc... yes
checking for Magick-config... no
Can't install RMagick 2.13.2. Can't find Magick-config in /usr/share/ruby-rvm/gems/ruby-1.9.3-p392/bin:/usr/share/ruby-rvm/gems/ruby-1.9.3-p392@global/bin:/usr/share/ruby-rvm/rubies/ruby-1.9.3-p392/bin:/usr/share/ruby-rvm/gems/ruby-1.9.3-p392/bin:/usr/share/ruby-rvm/gems/ruby-1.9.3-p392@global/bin:/usr/share/ruby-rvm/rubies/ruby-1.9.3-p392/bin:/usr/share/ruby-rvm/bin:/usr/lib/lightdm/lightdm:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games
*** extconf.rb failed ***
Could not create Makefile due to some reason, probably lack of
necessary libraries and/or headers. Check the mkmf.log file for more
details. You may need configuration options.
Provided configuration options:
--with-opt-dir
--without-opt-dir
--with-opt-include
--without-opt-include=${opt-dir}/include
--with-opt-lib
--without-opt-lib=${opt-dir}/lib
--with-make-prog
--without-make-prog
--srcdir=.
--curdir
--ruby=/usr/share/ruby-rvm/rubies/ruby-1.9.3-p392/bin/ruby
使用mechanize,nokogiri进行数据抓取,验证码识别的例子:
- #encoding: utf-8
- require 'mechanize'
- require 'nokogiri'
- require 'spreadsheet'
- require 'rtesseract'
- require 'mini_magick'
- require 'open-uri'
- require 'uri'
- require 'iconv'
- require 'active_support/all'
- #调整图片的大小来提高图片的识别准确度
- def parse_img_to_str(img_url)
- img = MiniMagick::Image.open(img_url)
- img.resize '200%x200%' # 放大
- img.colorspace("GRAY") # 灰度化
- img.monochrome # 去色
- str = RTesseract.new(img.path).to_s # 识别
- File.unlink(img.path) # 删除临时文件
- if str.nil?
- return nil
- else
- return str.strip.to_f
- end
- end
- #使用异常处理,可以减少因为网络延迟导致timeout的问题,但是不能完全避免
- #分析请求的url, 和参数
- def get_json_data(agent, url, params)
- begin
- response = agent.post(url, params)
- json_data = JSON.parse(response.body)
- return json_data
- rescue
- retry # restart from beginning
- end
- end
- p "waiting................."
- agent = Mechanize.new
- agent.open_timeout = 15
- file_path = File.dirname(__FILE__)user
- #用户登陆要抓取的网站后,用firefox导出cookies信息到cookies.txt
- cookies_file_path = "/home/username/project/cookies.txt"
- #导入cookie信息,跳过登陆
- agent.cookie_jar.load_cookiestxt(cookies_file_path)
- #抓取年份信息的例子
- title_params = {"area" => area,"province" => "北京"}
- years_info = get_json_data(agent, gov_mat_ttile_url, title_params)["result"]
imagemagick图片识别技术数据抓取(转自:http://michael-roshen.iteye.com/blog/1982817)相关推荐
- python—简单数据抓取四(利用超级鹰的ocr识别图片验证码模拟登录超级鹰网站、利用百度云的ocr识别自如租房网价格图片获取到自如网的价格)
学习目标: python学习二十四 -简单数据抓取四 学习内容: 1.利用超级鹰的ocr识别图片验证码模拟登录超级鹰网站 2.利用百度云的ocr识别自如租房网的价格图片,获取到自如网的价格数据 1.利 ...
- 基于Java的阿里妈妈数据抓取技术
基于Java的阿里妈妈数据抓取技术 前言: 对于需要登录的网站爬虫最大的困难就是需要登录,然后才能获取到数据,如微博,阿里妈妈,webqq等.之前也有看过使用浏览器登录到网站后直接从浏览器中获取coo ...
- 如何用python抓取文献_浅谈Python爬虫技术的网页数据抓取与分析
浅谈 Python 爬虫技术的网页数据抓取与分析 吴永聪 [期刊名称] <计算机时代> [年 ( 卷 ), 期] 2019(000)008 [摘要] 近年来 , 随着互联网的发展 , 如何 ...
- 天猫、淘宝运营数据抓取技术概述
对通用网站的数据抓取,比如:谷歌和百度,都有自己的爬虫,当然,爬虫也都是有程序写出来的.根据百度百科的定义:网络爬虫(又被称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动的抓取万维网信息的程序或 ...
- 北京弘易信泰 网络数据抓取技术实践分享
弘易信泰,作为大数据产品厂商,长期关注业界数据抓取技术的变化,当前,互联网数据以前所未有的态势迅猛增长,对于信息化技术而言,海量数据的抓取技术尤为重要,在数据迅速发展的大背景下,中国政府与企业类型的信 ...
- Python爬虫入门实战之猫眼电影数据抓取(理论篇)
前言 本文可能篇幅较长,但是绝对干货满满,提供了大量的学习资源和途径.达到让读者独立自主的编写基础网络爬虫的目标,这也是本文的主旨,输出有价值能够真正帮助到读者的知识,即授人以鱼不如授人以渔,让我们直 ...
- python编程理论篇_Python爬虫入门实战之猫眼电影数据抓取(理论篇)
前言 本文可能篇幅较长,但是绝对干货满满,提供了大量的学习资源和途径.达到让读者独立自主的编写基础网络爬虫的目标,这也是本文的主旨,输出有价值能够真正帮助到读者的知识,即授人以鱼不如授人以渔,让我们直 ...
- python爬虫入门实战争胜法_Python爬虫入门实战之猫眼电影数据抓取(理论篇)
前言 本文可能篇幅较长,但是绝对干货满满,提供了大量的学习资源和途径.达到让读者独立自主的编写基础网络爬虫的目标,这也是本文的主旨,输出有价值能够真正帮助到读者的知识,即授人以鱼不如授人以渔,让我们直 ...
- 关于Python爬虫原理和数据抓取1.1
为什么要做爬虫? 首先请问:都说现在是"大数据时代",那数据从何而来? 企业产生的用户数据:百度指数.阿里指数.TBI腾讯浏览指数.新浪微博指数 数据平台购买数据:数据堂.国云数据 ...
最新文章
- python中outside loop_Python: 'break' outside loop
- SSH服务审计工具ssh-audit
- 【学习笔记】【oc】类和对象及类的三大基本特征
- TCP/IP / PDU 是什么
- 龙芯笔记本可能以闹剧收场
- android leaks工具,Androidx中ImmLeaksCleaner已经解决了InputMethodManager... - 简书
- java json解码器_Jackson:我是最牛掰的 Java JSON 解析器(有点虚)
- pythoncad图纸文件管理系统为用户_SafeShare通用CAD图纸文件管理软件6用户免费使用版...
- Android编译判定BoardConfig.mk的宏控是否打开或者有效的验证方法
- 计算机软件uml,[计算机软件及应用]UML.ppt
- mysql索引失效的几种情况分析
- java实现公式解析
- openssl 实现 aes 文件加密解密
- 安装LR11 时,安装Microsoft Visual c++2005 sp1运行时组件,就会提示命令行选项语法错误,键入“命令/?”可获取帮肋信息
- 美的集团的命,智能家居来续?
- P0负载能力为 8 个 LSTTL 电路,P1-P3负载能力为4个 LSTTL 电路
- FPGA-篮球计分计时器的设计
- poj1163数字三角形动态规划
- TwinCAT PLC 使用
- ubuntu安装与配置,pytorch-gpu+cuda+cudnn+anaconda+pycharm
热门文章
- xpath取最后一个元素
- 用户怎样访问文件服务器,文件服务器用户访问
- 【已解决】PyCharm更新2020.1版后启动报错internal error
- potato什么软件_张鹏都这么努力又出新项目美生在线,你还有什么资格不努力!?...
- linux蓝牙小车,蓝牙控制遥控车制作教程
- 把在线网课录制成视频的方法
- 无向图双连通分量(DCC)
- HTML5合并单元格居中,excel表格合并后居中的方法步骤
- android 播放器 遥控器,DY的瞎折腾系列 篇八:N1多媒体播放器 手机遥控器
- 【LGame入门学堂005.精灵传说】简单的精灵