昨天发完预告片之后，很多同学都在关心虾神，因为：

大家担心，虾神写爬虫，写着写着就进去了……不过所幸的是，我国的法制进程一直在前进，对于爬虫的相关，在法律也做出了如下规定，下面给讲讲爬虫时候需要注意的一些法律问题，因为要是不小心，说不定真的就进去了。

写爬虫和用爬虫的时候，需要注意下面几个问题：

1、爬取的内容，需要经过内容拥有者的同意，一般来说，网站会在根目录下放置robots.txt协议文件，这个文件规定了该网站下哪些东西不允许爬取，比如下面就是百度的robots：

可以看见，他允许百度谷歌等用户，但也规定了一些url后缀不允许爬取。

而且，爬虫判的那是相当重的，比如爬虫爬取内容如果涉及“行踪轨迹信息、通信信息、征信信息、财产信息”，未经允许爬超50条，就可以判3年；淘宝交易记录，未经允许爬取超500条，也可以判3年；运营商网站通话记录，未经允许爬超过500条，可以判7年。

所以，爬之前，需要先关注一下这个文档，否则真的牢饭吃到饱……

当然，还有很多网站没有robots协议的（或者robots无法访问的），目前法律还没有明确规定。按法理来说，法无禁止即可为，那么理论上就是全面开放的，比如我们很多政府网站都是，就像下面这个虾神最喜欢的国家统计局官网：

（第一次觉得，404是这么可爱~）

2、爬的时候，注意别太贪婪，一般来说，最好不要用那些多线程的框架来疯狂爬取，这样会被认为是在攻击对方的网站，这个就是不是爬虫的问题了，而刑法第286条破坏计算机信息系统罪的问题了。所以爬时候可以考虑一些技术手段，比如线程延时错峰等手段，技术问题有空聊。

3、不要随意去爬有数字版权的东西，比如视频、音乐、图片等，这种有法律保障的东西，很危险。

所以，在用爬虫的时候，切记切记，小心最大。

上面说完了爬虫的法律问题，下面放出虾神爬了一整天的全美机场数据，爬虫的代码就不放了，大家自己去体会：

数据来源：https://www.globalair.com/

数据量：19619条，如下：

各字段内容如下：

• State 州

• Airport Code 机场编码

• Airport Name 机场名称

• Approach 着陆条件

• City 所在城市

• type 机场类型（机场、直升机场、热气球港，水上机场，短场起降机场）

• Latitude 纬度（wgs84）

• Longitude 经度（wgs84）

• Elevation 高程（英尺）

• Variation 磁差

• From City 最近城市的距离

• Customs Landing Rights 海关登陆权

• Sectional Chart 分区航图

• Ownership 所属类型（公共 & 私有）

• Owner 所有者

• Address 机场地址

• Phone 联系电话

• Manager 管理（联系）人

• ManagerAddress 管理人联系地址

• ManagerPhone 管理者联系电话

数据全球分布如下：包括美国本土50个州和8个海外领地

做个简单的数据探索——以下可视化代码，在已经放在数据下载的地址里面。

先看机场的所属类型：

美国的机场，有75%+属于私有类型的机场，不对公众开放，如果要使用，需要先提出申请，而且很多私有小机场，非常的简陋，比如某些小机场，只有个跑道和停机坪，连塔台都没有的：

看看机场的分类，美国的航空港分为6类，分别是：机场、直升机场、热气球港，水上机场，短场起降机场和其他类型，主要以通用机场和直升机机场为主，占到96%

比如这就是美国的一个直升机机场——那是更省地方了：

从着陆条件来看，拥有ILT（instrument landing system 仪表着陆系统）和Instrument （仪表）的机场数量，只有不到3%，也就是大部分机场都是简陋的机场：

只有1.5%的机场，有海关入境处（就是我国称之为的“国际机场”）：

各地机场分布的数量如下：

50个州+8个海外领地，共计58个，其中德州（这里自然不是山东那个德州）的机场最多，高达2027个……牛仔们有足够的农场来建机场，果然很德州

而且美国有13%的机场，在海外领地：

最后放出昨天画了一半没有画完的地图：（限于水平问题，实际上画完也一样的丑）

最后放出数据下载地址，下载地址获取如下：

1、关注虾神公众号：虾神daxialu

然后在公众号发送消息“美国机场”，即可获得下载地址：

PS：这个提醒，对于虾神的铁粉们来说是多余的，因为老铁们自然知道去哪里扒拉虾神提供的各种资料数据，主要是新粉丝和在其他渠道看见这篇文章的同学，可以通过关注公众号来进行获取。

最后还是要提醒一句：爬虫写得好，牢饭吃到饱，千万注意，小心小心再小心