，今天我们就来谈谈python在爬虫及实际应用方面的小技巧

一、python爬取wooyun镜像站文章

代码放出来吧，两个程序，一个抓来图片放在本地，一个抓来页面源码：

wooyun_spider:

[Python] 纯文本查看 复制代码#coding: utf-8

import requests

from bs4 import BeautifulSoup

import re

import os

def dopost(url):

r = requests.get(url, timeout=6)

if r.status_code == 200:

return r.content

def bsparser(content):

soup = BeautifulSoup(content, 'html.parser', from_encoding='utf-8')

bqs = soup.find_all('a', href=re.compile(r'/wooyun\-\d+\-\d+\.html'))

return bqs

dic = {}

if __name__ == '__main__':

if os.path.exists(r'd:\wooyun'):

print 'd://wooyun dir exists...spider begin'

else:

os.mkdir(r'd:\wooyun')

print 'mkdir d://wooyun...spider begin'

for i in range(1,5):

ii = '%d' % i

url = 'http://wy.hxsec.com/search?keywords=&&content_search_by=by_bugs&&search_by_html=False&&page=' + ii

content = dopost(url)

bqs = bsparser(content)

for bq in bqs:

dic[bq.get_text()] = bq['href']

#for k in dic.keys ;for v in dic.values ;

for (k, v) in dic.items():

#print k, v

try:

con = dopost(v)

file_str = 'd://wooyun//' + k.encode('gbk').replace(r'/' or r'|', '') + '.html'

with open(file_str, 'w') as f:

f.writelines(con)

print k + 'is ok'

except:

print k + 'is error'

pass

dic.clear()

2.wooyun_spider_img:

[Python] 纯文本查看 复制代码#coding: utf-8

import requests

from bs4 import BeautifulSoup

import re

import os

def dopost(url):

r = requests.get(url, timeout=6)

if r.status_code == 200:

return r.content

def bsparser(content):

soup = BeautifulSoup(content, 'lxml', from_encoding='utf-8')

bqs = soup.find_all('a', href=re.compile(r'/wooyun\-\d+\-\d+\.html'))

return bqs

def bsparser_img(content):

soup = BeautifulSoup(content, 'lxml', from_encoding='utf-8')

imgs = soup.find_all('img', src=re.compile(r'full/\w+\.jpg'))

return imgs

dic = {}

if __name__ == '__main__':

if os.path.exists(r'd:\wooyun\full'):

pass

else:

os.mkdir(r'd:\wooyun\full')

print 'img_spider begin'

for i in range(1,5):

url = 'http://wy.hxsec.com/search?keywords=&&content_search_by=by_bugs&&search_by_html=False&&page=1'

content = dopost(url)

bqs = bsparser(content)

for bq in bqs:

dic[bq.get_text()] = bq['href']

#for k in dic.keys ;for v in dic.values ;

for (k, v) in dic.items():

#print k,v

try:

con = dopost(v)

except:

print v + ' err'

continue

try:

imgs = bsparser_img(con)

for img in imgs:

img_con = dopost('http://static.hx99.net/static/bugs/' + img['src'])

#print img['src']

file_str = 'd://wooyun/' + img['src']

with open(file_str,'wb') as f:

f.write(img_con)

except:

print img['src'] + ' err'

dic.clear()

只用第一个程序是不行的，看看截图：

wooyun_spider1.PNG (179.19 KB, 下载次数: 56)

2017-2-2 12:30 上传

看看wooyun目录：

wooyun_spider2.PNG (213.01 KB, 下载次数: 41)

2017-2-2 12:31 上传

打开html文件：

wooyun_spider5.PNG (144.89 KB, 下载次数: 41)

2017-2-2 12:32 上传

图片是失效的，因为我们本地没有这些图片，运行第二个程序，把图片抓下来：

wooyun_spider3.PNG (325.23 KB, 下载次数: 49)

2017-2-2 12:33 上传

看看现在打开html文件：

wooyun_spider4.PNG (661.76 KB, 下载次数: 40)

2017-2-2 12:34 上传

图片有效了，程序里只是抓取4页，又需要可以改下for循环，理论上可以抓取所有文章，但是比较慢~~

二、python监听&&模拟 鼠标

源码如下，用到了winapi编程和pyhook，源码放出来，这个程序运行了之后将鼠标的滚轮滚动改变效果使之相当于鼠标左右键(就是滚轮上滚动，相当于鼠标左键按下再放开，下滚相当于右键点击再松开；当然你可以随意改，比如玩游戏要求要不停按右键，我可以利用py将滚轮映射为鼠标右键，作弊之利器啊哈哈)

[Python] 纯文本查看 复制代码# -*- coding: utf-8 -*-

import pythoncom

import pyHook

import time

import win32api

import win32con

def onMouseWheel(event):

if event.Wheel == 1:

win32api.mouse_event(win32con.MOUSEEVENTF_LEFTDOWN, 0, 0)

time.sleep(0.05)

win32api.mouse_event(win32con.MOUSEEVENTF_LEFTUP, 0, 0)

if event.Wheel == -1:

win32api.mouse_event(win32con.MOUSEEVENTF_RIGHTDOWN, 0, 0)

time.sleep(0.05)

win32api.mouse_event(win32con.MOUSEEVENTF_RIGHTUP, 0, 0)

return True

hm = pyHook.HookManager()

hm.MouseAll = onMouseWheel

hm.HookMouse()

pythoncom.PumpMessages()

三、py让你的qq窗口抖一抖 恶作剧

源码：

[Python] 纯文本查看 复制代码#coding: utf-8

import ctypes

import random

import win32con

import win32gui

#句柄 获取当前窗口位置 设置随机窗口大小 恢复窗口位置

class xyz(ctypes.Structure):

_fields_ = [('left', ctypes.c_int),

('top', ctypes.c_int),

('right', ctypes.c_int),

('bottom', ctypes.c_int)]

user32 = ctypes.windll.user32

HWND = win32gui.FindWindow("TXGuiFoundation",None)

xyzt = xyz()

user32.GetWindowRect(HWND, ctypes.byref(xyzt))

#xyzt里保存了当前窗口的原始位置

for i in range(2,200):

user32.SetWindowPos(HWND, None, xyzt.left+random.randint(1,i), xyzt.top-random.randint(1,i), xyzt.right-xyzt.left, xyzt.bottom-xyzt.top, win32con.SWP_SHOWWINDOW)

user32.SetWindowPos(HWND, None, xyzt.left, xyzt.top, xyzt.right-xyzt.left, xyzt.bottom-xyzt.top, win32con.SWP_SHOWWINDOW)

看看效果，运行了该程序，qq主窗口会抖一会，要是想恶作剧，可以改下时间甚至无限抖，不过不要慌，任务管理器里把这个程序停了就好了

win_shake.gif (2.11 MB, 下载次数: 56)

2017-2-2 12:49 上传

因为帧数问题，gif截成了这样。。凑活着看看吧。。

四、总结我把模拟鼠标和抖一抖qq主窗口的打包成了exe，双击就可以运行了(那个模拟鼠标的exe，和源码有点不一样，exe里只模拟了鼠标左键，上面源码模拟了左右键，有兴趣的自己打个包成exe去玩吧)

http://pan.baidu.com/s/1boTZPnx

新年快乐~~好困，去睡一觉撒