最近微信后台有不少问题,前几天我也在微信群中给大家说在学习 Python 过程中遇到什么问题可以私信我,我会找个时间给大家做一个统一的回复。当然了,别给我甩一堆报错什么的,我哪有那个时间给你 debug 啊。

在这些问题中,我把一些问的比较多的,大家比较关心的问题答复一下吧,希望对你有帮助。

1、如何快速入门 Python ?

我之前给大家说过,速成一门技能是不可能的,你需要花很多时间才能真正的掌握一门技能,但是快速入门是有可能的,而且也是必要的,你需要掌握最少且最必要的知识点,先进门再说。

其实编程,都有最基础的知识点,而且这些知识点都是共通的,什么意思?就是如果知道了这些知识点,那么你学习其他编程语言的时候,会很快就上手。这是因为编程有最少且最必要的知识。

回到 Python 来, Python 的最少且最必要的知识点是什么呢?其实我之前分享过的 今日份的 Python 基础清单 这里面就是 Python 的最少且最必要的知识点:

你一开始应该先去学习这些内容,而不是一开始就学什么计算机原理,计算机网络,数据结构与算法,这些重要吗?重要!但不是你现在该干的事情,你需要先入门,先进来,先看看在 Python 的世界里,可以做什么事情,什么是你的兴趣,接着再深入研究。

2、Python目前的就业领域有哪些 ?

据我最近的观察,Python 目前的就业领域主要有这么几个:

2.1、 web开发

对于一些网站的开发,诸如后台管理系统,或者一些微服务,写一些接口,都可以使用 Python 实现。

2.2、 数据采集(爬虫)

这个可能是你们比较关心的,爬虫相关问题后面还会多说一些,网络上有大量的数据,可是数据量太多太杂,如何获取到想要的数据,就需要数据采集了,而 Python 是最适合做爬虫的语言,你懂的。

2.3、 数据分析

主要是对数据进行分析、预判,从而做出选择或者对过去的复盘, Python 拥有非常成熟的数据分析库,有些人会有疑问,爬虫不也得数据分析么?咋就分开来说?其实爬虫只是数据分析的一种手段,数据来源不一定是通过爬虫获得,其它的数据也可以做分析。

2.4、 人工智能/机器学习

这个相对难度高一些,需要掌握一定的算法,对识别技术,自动化技术,深度学习,自然语言处理等方面都得有一定的研究,当然,工资相对较高。

3、Python爬虫入门应该学习什么?

应该对计算机网络有一定的了解,能知道 HTTP 请求的一些规则,知道什么是 Header ,cookies,知道 HTTP 一些状态码都代表啥意思。

会使用抓包工具,对一些请求的规则进行分析,知道通过什么样的请求方式才能获取到你要的数据。然后学习使用 requests 库进行网络请求。

接着学习一些 Python 的解析库,你得到的数据各式各样,有 json 的,有 xml 的, 有 html 的,你要会(正则)解析获取关键的数据。常见的库有 xpath、pyquery、beautifulSoup、 json、 xml.sax、 re 等。

接着就是数据存储,对一些常用的 sql 语句要会,常用的数据库有 MySQL、MongoDB。

一句话,把我写的 Python 爬虫教程看了并自己实现好就是了。

4、Python爬虫如何进阶?*

假设你已经对一些普通的网站的爬取游刃有余了,那么接下来就可以学学在手机端上爬取数据,如 Fiddler 抓取 APP 的一些数据请求, appnium 的使用。

接着学习如何对于一些加密的数据进行破解,例如一些网站上的关键数据使用 css 的属性进行加密,使得你在 html 里面拿不到关键数据。那么你就需要学会 css 相关的内容,研究网站对 css 的设置,例如偏移量,然后再根据规则使用 Python 重新合成。

还有一些动态的网页使用 JS 进行渲染,除了用性能较低的 selenium 之外,你还要会知道如何去破解 JS 的加密,那么你就得知道如何抓包,如何使用浏览器的开发者工具,怎么去设置断点,从而找到 JS 的加密函数,再使用 python 的 js 库来执行得到原始的数据。

当然,还有一些更有难度的,比如 apk 的反编译,如何在 apk 的反编译中获取到数据等。

再进一步,要知道如何进行异步爬取数据了,使用多线程多进程来提高爬取效率以及分布式爬虫的部署相关操作。

接着,就要考虑如何 url 去重爬取,如何做到断点续爬,比如说你的爬虫爬着爬着突然就傻逼了,或者断网了,这个时候不可能说从头开始爬起吧。之前也有人问如何做断点续爬,这里就提供一个思路吧,你可以使用 redis 构建一个 urlpool ,在这个 pool 里面对请求的 url 做标识,可以使用消息队列,在爬取成功的时候通知 urlpool 里的 url 标识状态,在请求 url 之前通过 urlpool 判断这个 url 是否爬取了。

再来就是爬虫框架了,比如现在的 scrapy 框架,值得好好研究一波的。

最后说一句,还是多实践,毕竟实践出真知,多在实践过程中总结问题和经验,也是进阶过程中所需的道路。

5、Python爬虫学到什么程度可以找到工作?

满足以上 3 、4 点就很大机会可以找到工作了,当然,不同公司所需不同,有些公司对于初级爬虫工程师的要求也没那么高,只要你懂一些爬虫库的操作,能爬到数据,之前有一定的爬虫项目实战经验就可以了。所以别太担心,盘它就完事了。

6、什么样的数据不要去爬取?

6.1、隐私的数据,比如某某网站的一些个人隐私用户信息数据。

6.2、需要付费的数据,比如知识星球,得到这些付费平台的数据。

6.3、非公开的数据,别人系统里面自己的数据,并没有公开在互联网上。

6.4、网站明确声明不能爬取的数据。

7、如何自学高效?

之前说过一些:

如何自学 Python 高效一些

8、如何通过 python 赚钱?

8.1、接单,爬虫的单子相对其他的一些 web 开发会爽一些,没有那么繁琐,爬完数据就能换钱。具体费用看工作量而定,印象中我接的爬虫单子也就两三单,主要没什么时间去搞,所以没赚什么钱。

8.2、做网站,根据你自己的兴趣或者优势去做一个网站,但这个不会及时满足,也就是说你得花比较长的时间去经营,等你的网站有一定的流量之后,可以嵌入广告联盟的广告,从而赚取广告费。

8.3、开发有用的工具,如果你能找到别人的一些痛点,开发出满足用户的工具,从而让用户购买使用。这种方式没有边际成本,只要你开发出来了,多一个用户就是多一份钱,躺着赚。

8.4、做公众号,像帅b我一样,写写 python 的教程,当然你得要坚持,并且一开始要忍受很久写了没什么人看的痛,还要学会更多的东西,当然我的骚操作,你是学不来的哈哈,我要说的是比如产品、运营、写作…这些。

当你公众号有了一定的阅读量之后就可以接广告赚点小钱了。当然了,文章底部的广告被点击也可以赚到钱,赞赏也可以,但是这两个真的赚不到什么钱的,赞赏更多的对作者的一种认可支持,底部广告点一下也就几毛钱到 1 块钱左右。

9、帅b老仙,法力无边?

这是 b 友给我起的,你觉得我有法力,那就是有法力哈。好了,以上就是我最近被频繁问到的一些问题以及我的答复,希望对你有帮助吧,觉得不错的话点个在看,以后有机会再给大家分享一些经验,那么我们下回见咯,peace。

关于Python技术储备

学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!

朋友们如果需要这份完整的资料可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、Python学习大纲

Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。

二、Python必备开发工具

三、入门学习视频

四、实战案例

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

五、python副业兼职与全职路线

python如何赚钱? python爬虫如何进阶? python就业? 如何快速入门python?相关推荐

  1. python做电脑软件-程序员带你十天快速入门Python,玩转电脑软件开发(二)

    关注今日头条-做全栈攻城狮,学代码也要读书,爱全栈,更爱生活.提供程序员技术及生活指导干货. 如果你真想学习,请评论学过的每篇文章,记录学习的痕迹. 请把所有教程文章中所提及的代码,最少敲写三遍,达到 ...

  2. python选择某一行_Python常用语法有哪些 如何快速入门Python开发

    Python常用语法有哪些?如何快速入门Python开发?Python编程语言是最容易学习.并且功能强大的语言,吸引了很多人学习入行.很多人想知道如何快速入门Python开发,接下来就给大家分享Pyt ...

  3. python做电脑软件-程序员带你十天快速入门Python,玩转电脑软件开发(一)

    关注今日头条-做全栈攻城狮,学代码也要读书,爱全栈,更爱生活.提供程序员技术及生活指导干货. 如果你真想学习,请评论学过的每篇文章,记录学习的痕迹. 请把所有教程文章中所提及的代码,最少敲写三遍,达到 ...

  4. python 去掉list元素的双引号_一天快速入门 Python

    Python 是由Guido Van Rossum在 90 年代早期设计,现在是最常用的编程语言之一.特别是人工智能的火热,再加之它的语法简洁且优美,实乃初学者入门AI必备的编程语言. Python基 ...

  5. python怎么自学?职场老手教给你如何快速入门python

    首先是最重要的一点,想清楚你为什么要去学Python?你是想要做一个网站,写一个顺手的工具,还是只要能够通过学校的考试就行,这很大程度的影响了你该如何去学Python,学到什么程度或者是你是否该转去学 ...

  6. python:栈的理解与应用,让你快速入门Python

    如何理解"栈"? 关于"栈",我有一个非常贴切的例子,就是一摞叠在一起的盘子.我们平时放盘子的时候,都是从下往上一个一个放:取的时候,我们也是从上往下一个一个地 ...

  7. 学会python爬虫能发财么_python如何赚钱? python爬虫如何进阶? python就业? 如何快速入门python?...

    1.如何快速入门 Python ? 我之前给大家说过,速成一门技能是不可能的,你需要花很多时间才能真正的掌握一门技能,但是快速入门是有可能的,而且也是必要的,你需要掌握最少且最必要的知识点,先进门再说 ...

  8. python大神和小白代码_看大神6行代码如何带领小白快速入门Python爬虫?

    原标题:看大神6行代码如何带领小白快速入门Python爬虫? 可能是小编本身就有一定的基础!当然我没有瞧不起小白的看法,知识觉得要入门一门编程语言确实比较简单,而且小编本身也是从小白过来的,但是当初接 ...

  9. 微专业python爬虫工程师_从零起步 系统入门Python爬虫工程师

    课程简介: 从零起步 系统入门Python爬虫工程师 大数据时代,python爬虫工程师人才猛增,本课程专为爬虫工程师打造,课程有四个阶段,爬虫0基础入门->项目实战->爬虫难点突破-&g ...

最新文章

  1. eclipse没有server选项解决方法
  2. eclipse做java_在Eclipse中使用Java 12
  3. EL之Boosting之GB(DTR):简单回归问题使用梯度提升法(DIY数据集+DTR模型+调两参)
  4. mybatis-plus分页查询_SpringBoot + MyBatisPlus 快速入门
  5. python面向对象-1方法、构造函数
  6. 血栓清道夫机器人_血栓“清道夫”找到了!木耳排第三,排在第一很多人都并不知道...
  7. 幂的末尾(信息学奥赛一本通-T1084)
  8. 好玩的100个网站收藏
  9. Oracle/MySQL/PostgreSQL考题等你挑战(附假期活动获奖名单)
  10. 声网 环信:是的,我们在一起了!
  11. 轧机用弹性阻尼体反力计算_「轴承知识」轧机轴承故障频繁怎么办?必要的检查维护不可少...
  12. 【转】基于Ubuntu 14.04 LTS编译Android4.4.2源代码
  13. apex英雄机器人探路者怎么玩_LOL有哪些英雄,是你怎么玩都玩不会的?
  14. ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp
  15. 蔬菜大棚成本_蔬菜大棚建造成本和种植利润分析
  16. 语音识别系统原理介绍----gmm-hmm
  17. MATLAB图像分割系统GUI设计
  18. Android开发之本地音乐播放器(简单粗暴版)
  19. Checker框架学习笔记
  20. linux网络通讯架构实战篇【02、nginx整体结构、进程模型】

热门文章

  1. 【因果推断的统计方法】潜在结果模型
  2. 【挑战程序设计】- 2.5 图论(最短路、最小生成树)
  3. java using用法_如何使用java合并两个PPT。(How to merge two PPTs using java.)
  4. t420i升级固态硬盘提升_给自己的办公设备大升级:购入雷克沙固态移动硬盘,享受高速...
  5. tailwindcss 官网(六)定制:配置( `tailwind.config.js `、-p、important、核心插件、`resolveConfig`)、主题 `theme` 配置
  6. Shogun网站上的关于主流机器学习工具包的比较
  7. 我们实际上是房地产开发商 和 我们政府的奴隶
  8. Python全栈面试题
  9. 鹰眼轨迹管理平台移植
  10. Android开发人员不得不收集的代码,面试心得体会