jishigou  / thinksns

每天自动化批量获取weibo食堂----美食菜谱图片

下载固定微博页面文件index.php?mod=yugao008准备调试脚本,并展示文件名
[root@localhost ~]# wget http://weibo.cns*****.com/index.php?mod=yugao008 | ls -l index.php\?mod\=yugao008
-rw-r--r-- 1 root root 135540 04-23 11:37 index.php?mod=yugao008
搜索图片文件含o.jpg关键词的行，并展示
[root@localhost ~]# grep 'o.jpg" class="artZoomAll"' index.php\?mod\=yugao008 | more

    <li><a href="http://weibo.cns*****.com/images/topic/9/39/75512_o.jpg" class="artZoomAll" rel="http://weibo.cns*****.com/images/topic/9/39/75512_s.jpg" rev="1444907_lLhRjs"><img  src="http://wei *.com/images/topic/9/39/75512_s.jpg" /></a></li> <li><a href="http://weibo.cns*****.com/images/topic/3/27/75505_o.jpg" class="artZoomAll" rel="http://weibo.cns*****.com/images/topic/3/27/75505_s.jpg" rev="1444805_LiCXAH"><img  src="http://wei *.com/images/topic/3/27/75505_s.jpg" /></a></li> <li><a href="http://weibo.cns*****.com/images/topic/e/19/75506_o.jpg" class="artZoomAll" rel="http://weibo.cns*****.com/images/topic/e/19/75506_s.jpg" rev="1444805_LiCXAH"><img  src="http://wei *.com/images/topic/e/19/75506_s.jpg" /></a></li>  

搜索图片文件含o.jpg关键词的行,以awk截取引号分割第二段url另存为$(hostname)_$(date +%Y%m%d%H%M%S).txt文件，并展示各文件名
[root@locahost ~]# grep 'o.jpg" class="artZoomAll"' index.php\?mod\=yugao008 | awk -F "\"" '{print $2}' > $(hostname)_$(date +%Y%m%d%H%M%S).txt | ls -l $(hostname)*.txt
-rw-r--r-- 1 root root 1286 04-23 12:59 lindows_20130423125938.txt
-rw-r--r-- 1 root root 1286 04-23 14:49 lindows_20130423144952.txt
-rw-r--r-- 1 root root 1286 04-23 14:49 lindows_20130423144957.txt
-rw-r--r-- 1 root root 1286 04-23 14:51 lindows_20130423145111.txt
-rw-r--r-- 1 root root 1286 04-23 14:51 lindows_20130423145149.txt
-rw-r--r-- 1 root root 1286 04-23 14:53 lindows_20130423145307.txt
、、、
搜索图片文件含o.jpg关键词的行,以awk截取引号分割第二段url另存为$(hostname)_$(date +%Y%m%d%H%M%S).txt文件，并展示各文件名及其内容
[root@localhost ~]# ls -l $(hostname)*.txt
[root@localhost ~]# more lindows_20130423125938.txt
http://weibo.cns*****.com/images/topic/9/39/75512_o.jpg
http://weibo.cns*****.com/images/topic/3/27/75505_o.jpg
http://weibo.cns*****.com/images/topic/e/19/75506_o.jpg
http://weibo.cns*****.com/images/topic/d/82/75500_o.jpg
http://weibo.cns*****.com/images/topic/9/45/75501_o.jpg
、、、
搜索所有$(hostname)*.txt文件里含http关键词的行并展示各文件名和内容
[root@localhost ~]# grep 'o.jpg" class="artZoomAll"' index.php\?mod\=yugao008 | awk -F "\"" '{print $2}' > $(hostname)_$(date +%Y%m%d%H%M%S).txt | grep http $(hostname)*.txt | more
lindows_20130423144952.txt:http://weibo.cns*****.com/images/topic/9/45/75501_o.jpg
lindows_20130423144952.txt:http://weibo.cns*****.com/images/topic/0/17/75458_o.jpg
lindows_20130423144952.txt:http://weibo.cns*****.com/images/topic/c/99/75459_o.jpg
lindows_20130423144952.txt:http://weibo.cns*****.com/images/topic/b/28/75454_o.jpg
、、、
搜索所有$(hostname)*.txt文件里含http关键词的行,删除lindows*.txt:的文字后,排序且删除重复项后并展示
[root@localhost ~]# grep 'o.jpg" class="artZoomAll"' index.php\?mod\=yugao008 | awk -F "\"" '{print $2}' > $(hostname)_$(date +%Y%m%d%H%M%S).txt | grep http $(hostname)*.txt | awk -F "txt:" '{print $2}' | sort | uniq | more
http://weibo.cns*****.com/images/topic/0/17/75458_o.jpg
http://weibo.cns*****.com/images/topic/0/20/75450_o.jpg
http://weibo.cns*****.com/images/topic/3/25/75423_o.jpg
http://weibo.cns*****.com/images/topic/3/27/75505_o.jpg
http://weibo.cns*****.com/images/topic/3/82/75455_o.jpg
http://weibo.cns*****.com/images/topic/4/27/75302_o.jpg
http://weibo.cns*****.com/images/topic/5/27/75276_o.jpg
http://weibo.cns*****.com/images/topic/6/0/75351_o.jpg
http://weibo.cns*****.com/images/topic/6/3/75390_o.jpg
、、、
搜索所有$(hostname)*.txt文件里含http关键词的行,删除lindows*.txt:的文字后,排序且删除重复项后并展示,并批量下载所有jpg到指定目录/home/lindows/
[root@locahost ~]# grep 'o.jpg" class="artZoomAll"' index.php\?mod\=yugao008 | awk -F "\"" '{print $2}' > $(hostname)_$(date +%Y%m%d%H%M%S).txt | grep http $(hostname)*.txt | awk -F "txt:" '{print $2}' | sort | uniq | more | xargs -I {} wget -P /home/lindows/ {}

# 每天10:30下载新文件index.php?mod=yugao008
30 10 * * * wget http://weibo.cnsu****.com/index.php?mod=yugao008
# 每天11:00根据新文件index.php?mod=yugao008匹配一定规则自动下载指定美食菜谱图片
0 11 * * * grep 'o.jpg" class="artZoomAll"' index.php\?mod\=yugao008 | awk -F "\"" '{print $2}' > $(hostname)_$(date +%Y%m%d%H%M%S).txt | grep http $(hostname)*.txt | awk -F "txt:" '{print $2}' | sort | uniq | more | xargs -I {} wget -P /home/lindows/ {}

ok

• A餐厅套餐

• 绍兴酱鸭
• 全家福
• 青椒炒蛋
• 地瓜炒猪肝
• 蒜泥生菜
• 白菜面筋包
• 笋瓜蛋汤

• A餐厅特色菜肴

• 湘味鲫鱼
• 干切牛肉
• 毛豆烧鸡
• 骨肉相连
• 银鱼蒸蛋
• 白菜面筋包
• 青椒炒蛋
• 莴笋鸡柳
• 青椒酱干丝
• 青菜粉丝
• 韭菜绿豆芽
• 姜米包菜
• 酸菜鱼
• 黄焖鸡
• 香锅鱼头
• 牛肉砂锅
• 红油大虾
• 平桥豆腐羹
• 鸭血粉丝
• 鸡蛋炒饭
• 三鲜炒面
• 鲜肉馄饨
• 鲜肉锅贴

• 经理餐厅套餐

• 年糕炒小排
• 蒜柱青龙鱼
• 口味酸菜鸡
• 胡萝卜烧羊肉
• 江南捞百叶
• 淮扬小炒
• 花菜肉片
• 油面筋白菜
• 蒜泥苋菜
• 萝卜小排饭
• 三鲜炒面
• 酒粮小元宵

• 经理餐厅冷盘点心

• 盐水鸭
• 心里美拌海蜇
• 麻油肚丝
• 麻辣翅尖
• 蜜汁芋艿
• 盐水花生
• 韩国泡菜
• 台湾豆腐

• B餐厅套餐

• 牛肉汉堡
• 红烧鸡腿
• 鱼香肉丝
• 清蒸鸡蛋
• 油渣大白菜
• 韭菜豆芽
• 笋瓜蛋汤

• B餐厅零点和小吃

• 泉水鱼
• 金陵烤鸭
• 荠菜香干
• 西红柿炒蛋
• 干锅鸭
• 罗汉观斋
• 咕噜素肉
• 浇汁臭豆腐
• 酱炒牛蛙
• 香辣羊肉卷
• 三鲜砂锅
• 辣子大虾
• 扬州狮子头
• 剁椒黄鱼
• 金陵烤鸡
• 莲藕鸡片

• 柠檬厅

• 套餐茨菰烧肉
• 青豆香菇鸡上腿
• 杂烩
• 麻辣豆腐
• 包菜炒蛋
• 蒜泥菠菜
• 青椒土豆丝
• 大白菜蛋汤
• 特色菜酸菜牛蛙
• 青椒姬菇炒肉片
• 肉沫蒸鸡蛋
• 腌菜牛肉锅
• 大碗菜毛血旺
• 酸菜鱼
• 鲫鱼蒸鸡蛋
• 水煮牛肉片
• 盖浇饭小排盖浇饭
• 萝卜烧肉
• 姬菇鸡蛋肉片
• 烤鸭盖浇饭
• 面条小排面
• 香肠面
• 大肠面

• 中西明档类

• 碳烤蒜茸虾
• 碳烤全家福
• 碳烤剁椒鱼头
• 干锅牛蛙
• 金陵烤鸭
• 川香口水鸡
• 莴笋拌鸭肫
• 香辣鸭脖
• 腐竹拌花生
• 四喜烤麸
• 香菜拌香干
• 朝鲜泡菜

• 明档类

• 碳烤香辣翅
• 川香牛杂
• 港式煲仔饭
• 牛肉砂锅
• 菌菇砂锅
• 羊肉锅仔
• 小六碳烤鱼
• 小六杂鱼锅
• 小六碳烤江支鱼
• 萝卜乌贼锅仔
• 牛筋牛腩锅仔
• 咸肉河蚌锅仔
• 大脸鸡排
• 秘制烤全翅
• 鱼籽鱼泡锅仔
• 鲶鱼豆腐盆菜
• 秦川臊子面
• 炸酱面
• 香菇仔鸡面
• 特色瓦罐面
• 红烧排骨面
• 红汤馄饨

• 西餐类

• 咖喱鸡配饭
• 韩式腊味炒饭
• 韩式烤肉配饭
• 三鲜乌冬面
• 黑森林
• 抹茶水果
• 奶油水果
• 大理石
• 椰蓉软包
• 原味黄油蛋糕
• 竹炭面包
• 原味玛芬

• 中餐类

• 青菜肉圆盖浇饭
• 红烧排骨盖浇饭
• 青椒香干炒肉丝
• 毛豆烧仔鸡
• 红烧鲫鱼
• 小炒肉
• 红椒莴笋炒肉片
• 黄瓜鸡蛋
• 干锅包菜
• 干椒绿豆芽
• 蒜泥菜秧

• 大碗菜类

• 黄焖鸡米饭
• 羊肉汤
• 牛肉汤
• 酸菜鱼面
• 红烧排骨面
• 香菇仔鸡面
• 酸菜鱼瓦罐面
• 红烧排骨瓦罐面
• 香菇仔鸡瓦罐面
• 川味小炒肉石锅饭
• 酸菜鸡块石锅饭
• 腌菜烧肉石锅饭

http://book.js165.com/iread/wml/p/help.jsp;jsessionid=36DF9F47C606A8ACA5D00AEB14255A0E

Apache Tomcat/5.5.27

end