lightGBM专题2:基于pyspark在spark平台下lightgbm训练详解
2024-05-10 15:12:42
数据集
这里以数据集flight_weather.csv为例，文件下载地址：flight_weather.csv，将flight_weather.csv上传到hdfs,这里上传到目录/home/,必须在hdfs下读取指定目录的文件。
数据读取
首先，创建sqlContext, 读取数据对数据集进行查看：
from pyspark.sql import SparkSession
sqlContext = SparkSession.builder.enableHiveSupport().getOrCreate()
df = (sqlContext.read.format("csv").option("header", "true").option("nullValue", "NA").option("inferSchema", True).load("/home/flight_weather.csv"))
df.show(30)显示前30行的数据，显示结果如下：
+---+----+-----+------------+-----------+-------------------+--------------+--------+------+-----------------+------+----------------+---------------+----+--------------+------------+--------+---------+-------------+---------+---------------+--------+----------+---------+-------+------------+--------+---------+-------------+---------+---------------+---------+-----------------+--------+----------------+-------------------+--------+-------+--------+--------------+-------------+-------------+---------+--------------+-------------------+----+----------------+--------------------+---------------------+----------------------+----------------+----------------+--------------+------------------+-------------------+--------------------+----------------+----------------+
|X.1|YEAR|MONTH|DAY_OF_MONTH|DAY_OF_WEEK| FL_DATE|UNIQUE_CARRIER|TAIL_NUM|FL_NUM|ORIGIN_AIRPORT_ID|ORIGIN|ORIGIN_STATE_ABR|DEST_AIRPORT_ID|DEST|DEST_STATE_ABR|CRS_DEP_TIME|DEP_TIME|DEP_DELAY|DEP_DELAY_NEW|DEP_DEL15|DEP_DELAY_GROUP|TAXI_OUT|WHEELS_OFF|WHEELS_ON|TAXI_IN|CRS_ARR_TIME|ARR_TIME|ARR_DELAY|ARR_DELAY_NEW|ARR_DEL15|ARR_DELAY_GROUP|CANCELLED|CANCELLATION_CODE|DIVERTED|CRS_ELAPSED_TIME|ACTUAL_ELAPSED_TIME|AIR_TIME|FLIGHTS|DISTANCE|DISTANCE_GROUP|CARRIER_DELAY|WEATHER_DELAY|NAS_DELAY|SECURITY_DELAY|LATE_AIRCRAFT_DELAY| X|VisibilityOrigin|DryBulbCelsiusOrigin|DewPointCelsiusOrigin|RelativeHumidityOrigin| WindSpeedOrigin| AltimeterOrigin|VisibilityDest|DryBulbCelsiusDest|DewPointCelsiusDest|RelativeHumidityDest| WindSpeedDest| AltimeterDest|
+---+----+-----+------------+-----------+-------------------+--------------+--------+------+-----------------+------+----------------+---------------+----+--------------+------------+--------+---------+-------------+---------+---------------+--------+----------+---------+-------+------------+--------+---------+-------------+---------+---------------+---------+-----------------+--------+----------------+-------------------+--------+-------+--------+--------------+-------------+-------------+---------+--------------+-------------------+----+----------------+--------------------+---------------------+----------------------+----------------+----------------+--------------+------------------+-------------------+--------------------+----------------+----------------+
| 1|2012| 1| 4| 3|2012-01-04 00:00:00| AA| N320AA| 1| 12478| JFK| NY| 12892| LAX| CA| 9| 904| 4| 4| 0| 0| 18| 922| 1131| 20| 12| 1151| -34| 0| 0| -2| 0| | 0| 385| 347| 309| 1| 2475| 10| null| null| null| null| null|null| 10.0| -3.9| -19.4| 29.0| 7.0| 30.1| 10.0| 17.2| 10.6| 65.0| 3.0| 30.18|
| 2|2012| 1| 20| 5|2012-01-20 00:00:00| AA| N327AA| 1| 12478| JFK| NY| 12892| LAX| CA| 9| 858| -2| 0| 0| -1| 21| 919| 1212| 15| 12| 1227| 2| 2| 0| 0| 0| | 0| 385| 389| 353| 1| 2475| 10| null| null| null| null| null|null| 10.0| 0.0| -16.7| 28.0| 15.0| 30.21| 10.0| 13.9| 10.0| 78.0| 6.0| 30.09|
| 3|2012| 1| 5| 4|2012-01-05 00:00:00| AA| N329AA| 2| 12892| LAX| CA| 12478| JFK| NY| 9| 925| -5| 0| 0| -1| 18| 943| 1741| 13| 18| 1754| -6| 0| 0| -1| 0| | 0| 330| 329| 298| 1| 2475| 10| null| null| null| null| null|null| 10.0| 18.3| 7.2| 49.0| 8.0| 30.02| 10.0| -0.6| -5.0| 72.0| 9.0| 29.99|
| 4|2012| 1| 21| 6|2012-01-21 00:00:00| AA| N327AA| 2| 12892| LAX| CA| 12478| JFK| NY| 9| null| null| null| null| null| null| null| null| null| 18| null| null| null| null| null| 1| B| 0| 330| null| null| 1| 2475| 10| null| null| null| null| null|null| 10.0| 15.6| 6.7| 56.0| 18.0| 29.99| 10.0| -3.3| -8.3| 69.0| 13.0| 30.28|
| 5|2012| 1| 6| 5|2012-01-06 00:00:00| AA| N336AA| 3| 12478| JFK| NY| 12892| LAX| CA| 12| 1151| -9| 0| 0| -1| 14| 1205| 1436| 7| 15| 1443| -32| 0| 0| -2| 0| | 0| 375| 352| 331| 1| 2475| 10| null| null| null| null| null|null| 10.0| 8.9| 0.0| 54.0| 13.0| 29.78| 6.0| 13.3| 11.7| 90.0| 0.0| 29.99|
| 6|2012| 1| 22| 7|2012-01-22 00:00:00| AA| N323AA| 3| 12478| JFK| NY| 12892| LAX| CA| 12| 1154| -6| 0| 0| -1| 23| 1217| 1455| 13| 15| 1508| -7| 0| 0| -1| 0| | 0| 375| 374| 338| 1| 2475| 10| null| null| null| null| null|null| 10.0| 0.0| -4.4| 72.0| 6.0| 30.5| 10.0| 12.8| 9.4| 80.0| 3.0| 30.14|
| 7|2012| 1| 7| 6|2012-01-07 00:00:00| AA| N336AA| 4| 12892| LAX| CA| 12478| JFK| NY| 12| 1223| 8| 8| 0| 0| 15| 1238| 2018| 3| 20| 2021| -24| 0| 0| -2| 0| | 0| 330| 298| 280| 1| 2475| 10| null| null| null| null| null|null| 6.0| 12.8| 10.0| 83.0| 0.0| 30.02| 10.0| 7.2| -4.4| 44.0| 15.0| 30.01|
| 8|2012| 1| 23| 1|2012-01-23 00:00:00| AA| N336AA| 4| 12892| LAX| CA| 12478| JFK| NY| 12| 1207| -8| 0| 0| -1| 19| 1226| 2022| 9| 20| 2031| -14| 0| 0| -1| 0| | 0| 330| 324| 296| 1| 2475| 10| null| null| null| null| null|null| 10.0| 12.2| 9.4| 83.0| 0.0| 29.98| 6.0| 8.15| 7.9| 98.0| 8.0| 29.91|
| 9|2012| 1| 8| 7|2012-01-08 00:00:00| AA| N357AA| 5| 11298| DFW| TX| 12173| HNL| HI| 13| 1413| 73| 73| 1| 4| 12| 1425| 1759| 2| 17| 1801| 26| 26| 1| 1| 0| | 0| 515| 468| 454| 1| 3784| 11| 26| 0| 0| 0| 0|null| 9.0| 11.9| 8.96666666666667| 81.0|8.33333333333333|30.0766666666667| 10.0| 20.0| 17.8| 87.0| 0.0| 30.09|
| 10|2012| 1| 24| 2|2012-01-24 00:00:00| AA| N380AA| 5| 11298| DFW| TX| 12173| HNL| HI| 13| 1256| -4| 0| 0| -1| 16| 1312| 1638| 3| 17| 1641| -54| 0| 0| -2| 0| | 0| 515| 465| 446| 1| 3784| 11| null| null| null| null| null|null| 7.5| 12.35| 9.5| 83.5| 8.5| 29.94| 10.0| 21.7| 18.9| 84.0| 0.0| 30.01|
| 11|2012| 1| 9| 1|2012-01-09 00:00:00| AA| N344AA| 6| 13830| OGG| HI| 11298| DFW| TX| 18| 1823| 13| 13| 0| 0| 10| 1833| 539| 3| 5| 542| 27| 27| 1| 1| 0| | 0| 425| 439| 426| 1| 3711| 11| 0| 0| 14| 0| 13|null| 10.0| 20.0| 16.1| 78.0| 5.0| 30.06| 7.0| 7.1| 5.3| 87.5| 11.0| 30.135|
| 12|2012| 1| 25| 3|2012-01-25 00:00:00| AA| N393AA| 6| 13830| OGG| HI| 11298| DFW| TX| 18| 1823| 13| 13| 0| 0| 11| 1834| 535| 4| 5| 539| 24| 24| 1| 1| 0| | 0| 425| 436| 421| 1| 3711| 11| 13| 0| 11| 0| 0|null| 10.0| 15.6| 12.2| 81.0| 3.0| 29.95| 10.0| 9.2| 7.9| 91.0| 16.5| 29.835|
| 13|2012| 1| 10| 2|2012-01-10 00:00:00| AA| N381AA| 7| 11298| DFW| TX| 13830| OGG| HI| 12| 1205| 0| 0| 0| 0| 14| 1219| 1609| 6| 16| 1615| -10| 0| 0| -1| 0| | 0| 500| 490| 470| 1| 3711| 11| null| null| null| null| null|null| 10.0| 7.8| 5.0| 83.0| 14.0| 29.83| 10.0| 18.3| 14.4| 78.0| 0.0| 30.03|
| 14|2012| 1| 26| 4|2012-01-26 00:00:00| AA| N393AA| 7| 11298| DFW| TX| 13830| OGG| HI| 12| 1204| -1| 0| 0| -1| 17| 1221| 1609| 2| 16| 1611| -14| 0| 0| -1| 0| | 0| 500| 487| 468| 1| 3711| 11| null| null| null| null| null|null| 10.0| 12.8| 2.8| 51.0| 11.0| 29.99| 10.0| 20.0| 15.6| 76.0| 6.0| 29.91|
| 15|2012| 1| 11| 3|2012-01-11 00:00:00| AA| N353AA| 8| 12173| HNL| HI| 11298| DFW| TX| 18| 1827| 7| 7| 0| 0| 14| 1841| 537| 4| 5| 541| 1| 1| 0| 0| 0| | 0| 440| 434| 416| 1| 3784| 11| null| null| null| null| null|null| 10.0| 20.0| 17.8| 87.0| 5.0| 29.95| 10.0| 11.7| 5.0| 64.0| 5.0| 29.73|
| 16|2012| 1| 27| 5|2012-01-27 00:00:00| AA| N389AA| 8| 12173| HNL| HI| 11298| DFW| TX| 18| 1813| -7| 0| 0| -1| 14| 1827| 542| 3| 5| 545| 5| 5| 0| 0| 0| | 0| 440| 452| 435| 1| 3784| 11| null| null| null| null| null|null| 10.0| 22.8| 18.3| 76.0| 9.0| 30.02| 10.0| 15.0| 4.4| 50.0| 21.0| 29.98|
| 17|2012| 1| 12| 4|2012-01-12 00:00:00| AA| N335AA| 10| 12892| LAX| CA| 12478| JFK| NY| 21| 2115| -5| 0| 0| -1| 15| 2130| 513| 7| 5| 520| -10| 0| 0| -1| 0| | 0| 310| 305| 283| 1| 2475| 10| null| null| null| null| null|null| 10.0| 12.2| -10.0| 20.0| 6.0| 30.09| 9.0| 7.76666666666667| 6.03333333333333| 89.3333333333333|25.6666666666667|29.4333333333333|
| 18|2012| 1| 28| 6|2012-01-28 00:00:00| AA| N327AA| 10| 12892| LAX| CA| 12478| JFK| NY| 21| 2124| 4| 4| 0| 0| 15| 2139| 518| 6| 5| 524| -6| 0| 0| -1| 0| | 0| 310| 300| 279| 1| 2475| 10| null| null| null| null| null|null| 10.0| 11.7| -9.4| 22.0| 6.0| 30.18| 10.0| 6.7| -4.4| 45.0| 0.0| 30.02|
| 19|2012| 1| 13| 5|2012-01-13 00:00:00| AA| N365AA| 14| 13830| OGG| HI| 12892| LAX| CA| 22| 2153| -12| 0| 0| -1| 13| 2206| 443| 9| 5| 452| -18| 0| 0| -2| 0| | 0| 305| 299| 277| 1| 2486| 10| null| null| null| null| null|null| 10.0| 17.8| 15.6| 87.0| 0.0| 29.94| 10.0| 25.0| -19.4| 4.0| 6.0| 30.11|
| 20|2012| 1| 29| 7|2012-01-29 00:00:00| AA| N390AA| 14| 13830| OGG| HI| 12892| LAX| CA| 22| 2158| -7| 0| 0| -1| 7| 2205| 459| 4| 5| 503| -7| 0| 0| -1| 0| | 0| 305| 305| 294| 1| 2486| 10| null| null| null| null| null|null| 10.0| 22.2| 16.1| 68.0| 15.0| 30.11| 10.0| 25.6| -16.7| 5.0| 6.0| 30.13|
| 21|2012| 1| 14| 6|2012-01-14 00:00:00| AA| N323AA| 16| 14771| SFO| CA| 12478| JFK| NY| 12| 1226| -4| 0| 0| -1| 13| 1239| 2035| 5| 21| 2040| -20| 0| 0| -2| 0| | 0| 330| 314| 296| 1| 2586| 11| null| null| null| null| null|null| 10.0| 10.6| 4.4| 66.0| 13.0| 30.11| 10.0| -3.3| -13.3| 46.0| 10.0| 30.13|
| 22|2012| 1| 30| 1|2012-01-30 00:00:00| AA| N323AA| 16| 14771| SFO| CA| 12478| JFK| NY| 12| 1221| -9| 0| 0| -1| 28| 1249| 2038| 9| 21| 2047| -13| 0| 0| -1| 0| | 0| 330| 326| 289| 1| 2586| 11| null| null| null| null| null|null| 10.0| 10.6| 8.3| 86.0| 14.0| 30.07| 10.0| 4.4| -5.6| 49.0| 13.0| 30.26|
| 23|2012| 1| 15| 7|2012-01-15 00:00:00| AA| N321AA| 18| 14771| SFO| CA| 12478| JFK| NY| 23| 2248| -12| 0| 0| -1| 43| 2331| 715| 11| 7| 726| 1| 1| 0| 0| 0| | 0| 325| 338| 284| 1| 2586| 11| null| null| null| null| null|null| 10.0| 3.9| -4.4| 55.0| 5.0| 30.26| 10.0| -5.6| -22.8| 25.0| 16.0| 30.37|
| 24|2012| 1| 31| 2|2012-01-31 00:00:00| AA| N320AA| 18| 14771| SFO| CA| 12478| JFK| NY| 23| 2251| -9| 0| 0| -1| 17| 2308| 654| 10| 7| 704| -21| 0| 0| -2| 0| | 0| 325| 313| 286| 1| 2586| 11| null| null| null| null| null|null| 8.0| 8.9| 7.8| 93.0| 6.0| 30.22| 10.0| 11.1| -2.2| 40.0| 15.0| 30.14|
| 25|2012| 1| 18| 3|2012-01-18 00:00:00| AA| N328AA| 19| 12478| JFK| NY| 12892| LAX| CA| 10| 1024| -6| 0| 0| -1| 19| 1043| 1320| 9| 13| 1329| -16| 0| 0| -2| 0| | 0| 375| 365| 337| 1| 2475| 10| null| null| null| null| null|null| 10.0| 3.3| -12.8| 30.0| 23.0| 29.99| 10.0| 12.2| 7.2| 72.0| 7.0| 30.19|
| 26|2012| 1| 5| 4|2012-01-05 00:00:00| AA| N336AA| 20| 14771| SFO| CA| 12478| JFK| NY| 15| 1451| -9| 0| 0| -1| 24| 1515| 2250| 6| 23| 2256| -29| 0| 0| -2| 0| | 0| 325| 305| 275| 1| 2586| 11| null| null| null| null| null|null| 10.0| 10.6| 7.2| 80.0| 17.0| 30.19| 10.0| 2.8| -3.3| 65.0| 7.0| 29.95|
| 27|2012| 1| 21| 6|2012-01-21 00:00:00| AA| N339AA| 20| 14771| SFO| CA| 12478| JFK| NY| 15| null| null| null| null| null| null| null| null| null| 23| null| null| null| null| null| 1| B| 0| 325| null| null| 1| 2586| 11| null| null| null| null| null|null| 10.0| 7.8| 4.4| 80.0| 0.0| 30.15| 10.0| -6.7| -11.1| 71.0| 14.0| 30.42|
| 28|2012| 1| 6| 5|2012-01-06 00:00:00| AA| N332AA| 21| 12478| JFK| NY| 12892| LAX| CA| 19| 1914| 4| 4| 0| 0| 19| 1933| 2204| 21| 22| 2225| -5| 0| 0| -1| 0| | 0| 380| 371| 331| 1| 2475| 10| null| null| null| null| null|null| 10.0| 5.6| -0.6| 65.0| 9.0| 29.79| 4.0| 12.1| 10.5| 89.5| 5.0| 29.995|
| 29|2012| 1| 22| 7|2012-01-22 00:00:00| AA| N335AA| 21| 12478| JFK| NY| 12892| LAX| CA| 19| 1907| -3| 0| 0| -1| 18| 1925| 2143| 15| 22| 2158| -32| 0| 0| -2| 0| | 0| 380| 351| 318| 1| 2475| 10| null| null| null| null| null|null| 10.0| 1.1| -2.8| 76.0| 8.0| 30.45| 5.5| 11.85| 9.2| 83.0| 6.0| 30.055|
| 30|2012| 1| 8| 7|2012-01-08 00:00:00| AA| N323AA| 22| 12892| LAX| CA| 12478| JFK| NY| 15| 1453| -7| 0| 0| -1| 13| 1506| 2303| 10| 23| 2313| -2| 0| 0| -1| 0| | 0| 315| 320| 297| 1| 2475| 10| null| null| null| null| null|null| 10.0| 15.0| -2.2| 31.0| 0.0| 30.16| 10.0| -0.6| -9.4| 51.0| 6.0| 30.32|
+---+----+-----+------------+-----------+-------------------+--------------+--------+------+-----------------+------+----------------+---------------+----+--------------+------------+--------+---------+-------------+---------+---------------+--------+----------+---------+-------+------------+--------+---------+-------------+---------+---------------+---------+-----------------+--------+----------------+-------------------+--------+-------+--------+--------------+-------------+-------------+---------+--------------+-------------------+----+----------------+--------------------+---------------------+----------------------+----------------+----------------+--------------+------------------+-------------------+--------------------+----------------+----------------+数据清洗
如果航班被取消，设定延时15分钟以上为真,这里使用when功能来实现
# 如果被取消设定ARR_DEL15 = 1。
from pyspark.sql.functions import when
df = df.withColumn("ARR_DEL15", when(df["CANCELLED"] == 1, 1).otherwise(df["ARR_DEL15"]))使用filter功能，删除掉转机的数据：
# Remove flights if it's diverted.
df = df.filter(df["DIVERTED"] == 0)通过select函数，选择需要的一些特征列：
# Select required columns
df = df.select("ARR_DEL15","MONTH","DAY_OF_WEEK","UNIQUE_CARRIER","ORIGIN","DEST","CRS_DEP_TIME","CRS_ARR_TIME","RelativeHumidityOrigin","AltimeterOrigin","DryBulbCelsiusOrigin","WindSpeedOrigin","VisibilityOrigin","DewPointCelsiusOrigin","RelativeHumidityDest","AltimeterDest","DryBulbCelsiusDest","WindSpeedDest","VisibilityDest","DewPointCelsiusDest")通过dropna函数删除有null值的行：
# Drop rows with null value
df = df.dropna()调用randomSplit，将数据集分割为训练集和测试集：
# Split data into train data and test data
(traindf, testdf) = df.randomSplit([0.8, 0.2])将值为string类型的列对应的取值转换为 0，1，2，3......，注意这里是会增加一列，对应取值为索引值，这样可以将string类型转换为int：
# Convert categorical values to index values (0, 1, ...)
from pyspark.ml.feature import StringIndexer
uniqueCarrierIndexer = StringIndexer(inputCol="UNIQUE_CARRIER", outputCol="Indexed_UNIQUE_CARRIER").fit(df)
originIndexer = StringIndexer(inputCol="ORIGIN", outputCol="Indexed_ORIGIN").fit(df)
destIndexer = StringIndexer(inputCol="DEST", outputCol="Indexed_DEST").fit(df)
arrDel15Indexer = StringIndexer(inputCol="ARR_DEL15", outputCol="Indexed_ARR_DEL15").fit(df)在spark机器学习训练中，特征列必须包装成vector值，这里创建一个新的名为“feature”的vector：
# Assemble feature columns
from pyspark.ml.feature import VectorAssembler
assembler = VectorAssembler(inputCols = ["MONTH","DAY_OF_WEEK","Indexed_UNIQUE_CARRIER","Indexed_ORIGIN","Indexed_DEST","CRS_DEP_TIME","CRS_ARR_TIME","RelativeHumidityOrigin","AltimeterOrigin","DryBulbCelsiusOrigin","WindSpeedOrigin","VisibilityOrigin","DewPointCelsiusOrigin","RelativeHumidityDest","AltimeterDest","DryBulbCelsiusDest","WindSpeedDest","VisibilityDest","DewPointCelsiusDest"],outputCol = "features")模型训练
好了，到此我们可以引入lightgbm分类器了：
# Generate classifier
from mmlspark import LightGBMClassifier
classifier = LightGBMClassifier(featuresCol="features",labelCol="ARR_DEL15",learningRate=0.3,numIterations=150,numLeaves=100)使用pipeline开启训练（pipeline工作原理可参考pipeline）：
# Create pipeline and Train
from pyspark.ml import Pipeline
pipeline = Pipeline(stages=[uniqueCarrierIndexer, originIndexer, destIndexer, arrDel15Indexer, assembler, classifier])
model = pipeline.fit(traindf)任务提交
这里采用集群（cluster）的方式提交spark任务
spark-submit --py-files mmlspark.zip --queue <实际运行队列> --master yarn --deploy-mode cluster lightgbm_test.pymmlspark的打包
若集群没有安装mmlspark，需要安装mmlspark，若集群不方便安装mmlspark，可以以压缩包的方式通过选项--py-files提交需要的python包，具体流程如下：
首先在自己的机器上安装mmlspark:
pip install mmlspark安装成功后，查找mmlspark的安装目录：
pip show mmlspark到安装目录下，将mmlspark打包为zip压缩文件：
zip -r mmlspark.zip mmlspark/*将mmlspark.zip复制到提交目录下
lightGBM专题2:基于pyspark在spark平台下lightgbm训练详解相关推荐
- Spark SQL原理及常用方法详解（二）
Spark SQL 一.Spark SQL基础知识 1.Spark SQL简介 (1)简单介绍 (2)Datasets & DataFrames (3)Spark SQL架构 (4)Spark ...
- python cv2 轮廓的包络 面积_Python 基于FIR实现Hilbert滤波器求信号包络详解
在通信领域,可以通过希尔伯特变换求解解析信号,进而求解窄带信号的包络. 实现希尔伯特变换有两种方法,一种是对信号做FFT,单后只保留单边频谱,在做IFFT,我们称之为频域方法:另一种是基于FIR根据传 ...
- 基于Java的音频转发服务器_javaCV开发详解之5：录制音频(录制麦克风)到本地文件/流媒体服务器(基于javax.sound、javaCV-FFMPEG)...
javaCV系列文章: 补充篇: 前言:本篇文章基于javaCV-FFMPEG,关于javaCV官方是没有文档或者api文档可以参考的,所以还有很多地方需要研究: 本章对于ffmpeg的需要有一定了解 ...
- spark on yarn 内存分配详解
spark on yarn 内存分配详解
- java throw与throws_基于Java中throw和throws的区别(详解)
系统自动抛出的异常 所有系统定义的编译和运行异常都可以由系统自动抛出,称为标准异常,并且 Java 强烈地要求应用程序进行完整的异常处理,给用户友好的提示,或者修正后使程序继续执行. 语句抛出的异常 ...
- 基于xilinx vivado的XADC IP设置使用详解
基于xilinx vivado的XADC IP设置使用详解 目录 1 XADC概述 2 引用 3 XADC 端口 4 XADC IP设置 5 IP的例程代码的使用 6 Chanel输出值的含义即寄存器 ...
- 匿名函数python_基于python内置函数与匿名函数详解
内置函数 Built-in Functions abs() dict() help() min() setattr() all() dir() hex() next() slice() any() d ...
- Spark: sortBy和sortByKey函数详解
在很多应用场景都需要对结果数据进行排序,Spark中有时也不例外.在Spark中存在两种对RDD进行排序的函数,分别是 sortBy和sortByKey函数.sortBy是对标准的RDD进行排序,它是 ...
- java里的进制转换函数_基于Java中进制的转换函数详解
十进制转成十六进制: Integer.toHexString(int i) 十进制转成八进制 Integer.toOctalString(int i) 十进制转成二进制 Integer.toBinar ...
最新文章
- 【Pandas库】(4) 索引操作--重新生成索引
- EcoTalks预告 | Max Rietkerk：自然斑图与生态系统的恢复力
- Mysql高性能优化规范建议，太厉害了！
- 《Effective Java 2nd》第4章 类和接口
- 全国计算机等级考试一级教程讲义资料,计算机等级考试一级教程讲义.docx
- 人才管理是什么意思_上海托管仓库外包仓库管理什么意思
- html表格背景图片格式,HTML表格标记教程(8):背景图像属性BACKGROUND
- UVA - 1589 Xiangqi
- c++ 中 define
- MAC地址生成器（可带跳数）
- android车载桌面,车载桌面Car Launcher Pro
- python有没有网页版的pyqt_Python PyQT Web浏览器书签
- APP平台是怎样实现视频加密呢？
- 【docker】虚拟化和docker容器概念
- nodejs和php性能,Nodejs 和PHP 性能测试结果
- GoLang官网怎么查看“包“文档
- 华硕ASUS Prime Z370M-PLUS II黑苹果OpenCore EFI
- docker安装redis无法启动： The container name “/ly-redis“ is already in use by container
- [VB.NET]浅谈MDI窗体的多窗体编程
- 关于error: The following untracked working tree files would be overwritten by checkout的解决方案