代购类网站商品高清晰大图片(1000x1000)的采集解决方案 - hackercai - 博客园

• 博客园
• 社区
• 首页
• 新随笔
• 联系
• 管理
• 订阅
  

随笔- 2 
文章- 0 
评论- 2

代购类网站商品高清晰大图片(1000x1000)的采集解决方案

需求:
      代购类的网站，因为我们一直没有自拍的图片，用的是外网上抓来的，有些像素不好限制了我们放大图片，需要考虑一个万全之策，让图片最大限度的放大，还要清晰。

问题原因:

1.问题的根本原因:
   一般采用的程序在技术上对商品上传功能技术支持不足

2.图片上传采用的手段有待技术去提高和实现
1)一般情况我们的图片很多都是通过拷屏的方式去截取图片,然后压缩到385*385大小（举例）
这样的大小限制了图片放大功能的实现而且增加了很大的工作量
2)由于国外电商图片放大功能基本上是通过Flash技术来实现的
加之商品信息上传人员对网站技术不了解,找不到真正原始的商品图片
3.图片服务器
通过对市场部以及图片上传人员的调查,他们反映图片服务器容量受限
大量图片会造成图片服务器压力

问题分析:

鉴于代购类业务的特殊性,我们的商品信息和图片都来源国外电商,通过我对大量国外电商
网站商品信息和图片的分析,发现他们网站基本已经提供了高质量的图片,尤其是放大后的高清晰图片

例:
国外网站
http://www.xxxxxxxxxxxxxxxxxxxxx.com/
商品地址:
http://www.xxxxxxxxxxxxxxxxxxxxx.com/store/catalog/prod.jhtml?itemId=prod142710040&parentId=cat20720731&masterId=cat14120827&index=0&cmCat=cat000000cat000470cat14120827cat20720731

小图地址:
http://images.xxxxxxxxxxxxxxxxxxxxx.com/products/mg/NM-3JSV_mg.jpg
高清晰大图地址:
http://imagesxxxxxxxxxxxxxxxxxxxxx.com/products/mz/NM-3JSV_mz.jpg

解决方案

1.简单临时解决方案
    1)网站点击大图的时候直接打开的是国外电商的高清大图

2)技术人员培训图片上传人员怎么找到商品图片的原始大图的地址,然后添加到商品信息中

注:该方案实现方式最简单,但是会存在图片打开速度比较慢的情况
        "找图片URL"对上传图片人员可能会有些难度

2.根本解决方案
  1)首先要把图片服务器搞好,使其能够容纳大图片的存储
      a)图片存储
          大图片一般在500K-2M之间
          一条商品信息对于得图片资源(不包括商品介绍中的图片) 大约在3M左右
          10万条商品信息需要300G左右的存储空间和300G左右的备份存储空间
      b)图片整理
          需要有对垃圾图片和失效信息对于得图片的清理功能
   2)针对目前的商品上传功能进行升级
     a)简单实现:
        开发相应的商品信息采集功能,商品上传人员只需要输入国外电商的商品信息URL
        点击采集,商品信息和商品图片自动采集到我们的网站上
        然后商品上传人员在线对商品信息进行编辑优化,在线对商品图片进行裁减,放缩等操作
     b)自动采集
        开发专门的采集功能,定时采集或时时检测目标网站的商品信息,自动采集到我们网站然后
        商品上传人员再进行编辑
   3)技术实现
       a)Regex技术
          实现采集功能
       b)Http获取远程HTML代码
       c)HTML代码解析,去掉垃圾代码
       d)在线图片处理技术
          tapmodo-Jcrop插件
          Flash在线图片处理
          等等
        f)自动生成各种前台要求的略缩图
          如:
                图片              大小              图片规模
               高清原始大图  1200*1500   500K-2M
               商品信息主图  330*330       100K-200K
               首页展示中图  176*176       40-80K
               分类页展示图  150*150       20-40K
               颜色略缩图     48*48            5-15K
             一条商品需要总存储空间3M左右
          g)大图片的上传技术
             可以采用Flash等技术
             注:这些技术可以通过Baidu找到很多的案例和实现方法

4)实现难点
           a)图片在线处理

b)对每一个国外电商进行一对一的采集插件开发

5)需要处理的问题
         功能开发上线后,需要关注国外电商的商品信息展示架构是否发生变化
         随时调整其采集算法的实现