1.http://www.goubanjia.com/  在上面获取 使用http协议的公网IP和端口

参考:https://blog.csdn.net/qq_23934063/article/details/79063937

2.  关键代码如下:

#python3

# coding: utf-8

from bs4 import BeautifulSoup

import requests

import json

import time

import random

codelist = []

for zxcode000 in range(100,999):

code000 = ‘000‘ + str(zxcode000)

codelist.append(code000)

for zhongxiaocode in range(10,100):

code0000 = ‘0000‘ + str(zhongxiaocode)

codelist.append(code0000)

for szzhubancode in range(1,10):

code00000 = ‘00000‘ + str(szzhubancode)

codelist.append(code00000)

for stocknum00 in range(2001,2999):

stocknum00 = ‘00‘ +str(stocknum00)

codelist.append(stocknum00)

for cybcode in codelist:

proxys = [‘http://101.4.136.34:81‘, ‘http://50.224.173.189:8080‘, ‘http://119.28.195.93:8888‘,

‘http://58.240.170.108:8080‘,

‘http://140.143.96.216:80‘]

myproxy = random.choice(proxys)

try:

code600 = str(cybcode)

time.sleep(3)

url6000 = ‘http://basic.10jqka.com.cn/‘+code600+‘/finance.html‘

session = requests.Session()

session.headers = {

‘User-Agent‘: ‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36‘

}

session.get(‘http://basic.10jqka.com.cn‘)

session.proxies = myproxy

r1 = session.get(url6000)

rawtext1 = r1.text

rawdata = r1.content

obj = BeautifulSoup(rawdata, ‘html5lib‘)

pid = obj.findAll("p", id="main")

textPid = pid[0]

jsonData = textPid.get_text()

dictData = json.loads(jsonData)

simpleData = dictData[‘simple‘]

simpleList = simpleData[5]

rate0 = simpleList[0].split(‘%‘)[0]

rate1 = simpleList[1].split(‘%‘)[0]

rate2 = simpleList[2].split(‘%‘)[0]

growList = simpleData[7]

grow0 = growList[0].split(‘%‘)[0]

grow1 = growList[1].split(‘%‘)[0]

grow2 = growList[2].split(‘%‘)[0]

if float(rate0) > float(rate1) and float(rate1) > 35 and float(grow0) > 35 and float(grow1) > 30 and float(

grow2) > 35 and float(grow0) > float(grow1):

print(cybcode, rate0, rate1, rate2, grow0, grow1, grow2)

except:

print(myproxy,cybcode)

原文:https://www.cnblogs.com/hixiaowei/p/9738716.html

python爬虫 同花顺_python 爬虫--同花顺-使用代理相关推荐

  1. python爬虫代理服务器_Python爬虫之服务器:代理IP万能

    最近很多同学租服务器用来学习爬虫,对于大部分小白来说,爬虫非常复杂.技术门槛很高.但我们可以通过爬虫获取大量的价值数据,经分析可以发挥巨大的价值,比如:豆瓣.知乎,爬取优质答案,筛选出各话题下热门内容 ...

  2. python爬虫难点_Python爬虫技巧

    ​在本文中,我们将分析几个真实网站,来看看我们在<用Python写网络爬虫(第2版)>中学过的这些技巧是如何应用的.首先我们使用Google演示一个真实的搜索表单,然后是依赖JavaScr ...

  3. python爬虫要点_Python爬虫知识点梳理

    学任何一门技术,都应该带着目标去学习,目标就像一座灯塔,指引你前进,很多人学着学着就学放弃了,很大部分原因是没有明确目标,所以,在你准备学爬虫前,先问问自己为什么要学习爬虫.有些人是为了一份工作,有些 ...

  4. 花一千多学python值吗_Python爬虫应该怎么学?程序猿花了一周整理的学习技巧,请收下...

    原标题:Python爬虫应该怎么学?程序猿花了一周整理的学习技巧,请收下 Python爬虫为什么受欢迎 如果你仔细观察,就不难发现,懂爬虫.学习爬虫的人越来越多,一方面,互联网可以获取的数据越来越多, ...

  5. python流行的爬虫框架_Python爬虫相关框架

    Python爬虫相关框架,Python的爬虫框架就是一些爬虫项目的半成品.比如我们可以将一些常见爬虫功能的实现代码写好,然后留下一些接口,在做不同的爬虫项目时,我们只需要根据实际情况,只需要写少量需要 ...

  6. python官网学习爬虫资料_Python爬虫学习?

    1 爬虫是互联网上最常见的一种东西了吧. 爬虫这东西每天都在网上爬大量的信息,各大搜索引擎厂商每天都有上百万的爬虫在网络上活动,这些爬虫的作用就是给搜索引擎采集互联网上最新的内容,采集来的内容经过分类 ...

  7. python数据入库_python爬虫(中)--数据建模与保存(入库)

    前言 前面,讲的是提取出来的数据保存进一个extracted_data,再保存进extracted_data_,变成一个list包含list的情况,当然你只提取一项,那就没有必要这么做了,可是我的项目 ...

  8. python电影爬虫背景介绍_python爬虫-爬虫电影八佰词云

    #数据获取 importrequestsimportreimportcsvimportjiebaimportwordcloud#通过循环实现多页爬虫#观察页面链接规律#https://movie.do ...

  9. python简单爬虫手机号_Python爬虫:大家用公共的手机号干了啥?

    说明:本文所提供的思路和代码都只用于个人测试研究之用,并未对目标网站造成实质性干扰,而且全部细节已经全部告知网站开发者,也请大家不要用于恶意用途. 在我的微信公众号"免费的临时手机号,用这些 ...

  10. 手机python爬虫教程_python爬虫入门 之 移动端数据的爬取

    第七章 移动端数据的爬取 基于某一款抓包工具 : fiddler ,青花瓷 ,miteproxy 7.1 fiddler 基本配置 7.1.1fiddler简介和安装 什么是Fiddler? Fidd ...

最新文章

  1. Tafficserver旁路接入方案综述
  2. Spring框架学习day_01: 框架配置方式/ 管理对象的作用域/ 生命周期/ 组件扫描/ 单例模式:“懒汉式“,“饿汉式“
  3. 说实话,Intellij IDEA 自带的 Vim 插件真心不错!
  4. python有哪些作用-你都用Python来做什么,它对你来说有什么作用?
  5. 线性选择算法的递归实现和循环实现
  6. PHP从零开始--基础篇
  7. Android程序结构
  8. hihoCoder #1143 : 骨牌覆盖问题·一
  9. 【编撰】Directfb 深入 001 初始化简介 01
  10. Spring : ConfigurableListableBeanFactory
  11. sublime3快捷键
  12. amd显卡风扇调节_为什么NVIDIA和AMD公版显卡纷纷摒弃涡轮散热器而采用多风扇散热设计?...
  13. Go 语言十年而立,Go2 蓄势待发
  14. spring-boot+spring-session集成
  15. dapperpoco mysql_DapperPoco -- 基于Dapper的、轻量级的、高性能的、简单的、灵活的ORM框架...
  16. 蓝桥杯2016年七届C/C++省赛C组第八题-冰雹数
  17. SAP各模块表清单及逻辑关系介绍
  18. 可以快速提高编程能力的9个建议
  19. 计算机网络应用基础心得体会,计算机网络技术学习心得体会
  20. 独家秘技||如何快速入门一个陌生知识领域?

热门文章

  1. COGS 265 线段覆盖
  2. 解决12c安装过程中的各种报错
  3. Kyoto Tycoon挂载LevelDB,编译安装篇
  4. JAVA中易出错的小问题(二)
  5. ERP:“造势”,还是“做事”
  6. 30而立--男人必须明白的事
  7. asp.net get set用法
  8. 初开:什么是系统思考
  9. LeetCode之SQL练习:第二高薪
  10. MySQL数据库权限操作指南