第

22

卷第

8

期

2019

年

8

月

V

ol.22  No.8

Aug.  2019

基于

python

的

WEB

数据挖掘技术实现与研究

齐  慧

(山东科技职业学院信息工程系，山东 潍坊 261053)

摘

要：

文章首先对web数据挖掘技术进行概括，分别从数据挖掘技术概念、技术应用优势与技术原理三方面进

行论述。其次，重点探讨基于python基础上的web数据挖掘技术开发设计方法，对数据挖掘过程中的各类爬虫技术应用

优势进行对比，可以作为数据挖掘系统构建过程中的理论参照。

关键词：

python语言；数据挖掘技术；仿真实验

中图分类号：

TP309

文献标识码：

A

Research and Implementation of WEB Data Mining Technology Based on Python

QI Hui

(

Shandong V

ocational College of Science and Technology

,

Department of Information Engineering

,

Weifang

261053,

China

)

Abstract:

This paper firstly summarizes web data mining technology,discussing the concept,application advantages and

principles of data mining technology.Secondly,it mainly discusses the development and design methods of web data mining

technology based on python,and compares the application advantages of various crawler technologies in the process of data

mining,which can be used as a theoretical reference in the construction of data mining system.

Keywords:

Python;data mining technology;simulation experiments

1

引言

(Introduction)

运用web数据挖掘技术，能够模拟出用户基于网络环境

中的浏览过程，并根据用户操作过程中的使用功能需求，自

动跳转至指定的信息页面。通过数据挖掘，将无序并且数量

庞大的信息自动提取存储，将其整理成为结构化的信息形

式

[1]

。一方面，方便用户在信息浏览过程中对自身需要的数据

进行存储，另一方面也能够根据数据挖掘对各类功能进行表

达，满足用户信息浏览过程中的不同需求。数据挖掘技术使

用范围十分广阔，能够用于不同区域，并且在功能整合过程

中也能够根据最终的综合控制能力，判断接下来的数据挖掘

方向

[2]

。数据挖掘技术是存储功能实现不可缺少的基础，也具

有极强的整合能力，能够与其他技术方法相结合，高效便捷

的完成数据捕捉和存储。数据挖掘技术在不同领域均充当着

重要角色，将web数据挖掘技术，与学习型汇编语言相结合，

在程序设计过程中更能够体现出人性化功能，也能处于网络

环境下，对数据信息进行高效定位，实现安全便捷的数据挖

掘以及功能指令传输。

2

数据挖掘技术发展优势

(Development advantages

of data mining technology)

随着网络信息技术不断发展进步，数据挖掘技术也具有

广阔的应用前景。网络环境中的各类数据信息资源，并没有

固定结构存在。浏览网络信息中对于其中的有用数据提取往

往会消耗过多时间。通过互联网技术普及，数据挖掘技术的

应用能够将零散的信息进行整合，并根据用户不同使用功能

选择自动或手动的挖掘存储

[3]

。数据挖掘技术在信息整合速度

上十分快，具有极强的技术适应能力，应用该技术能够体现

出不同挖掘项目之间的统筹能力，并根据挖掘过程中体现出

的多角度问题

[4]

。新型技术应用方向调整，基于python语言

基础上的网络系统设置，能够明显降低数据传输过程中的误

差，并帮助查找遗漏，对遗漏数据自动填补。尤其是面对统

计任务量较大的数据时，能够快速完成信息分类对接，并根

据用户使用过程中的各类规则，对程序进行调整，纠正程序

中存在的错误。数据挖掘过程中，能够确定数据传输的最佳

路径，从而在传输过程中节省时间。由此可见，数据挖掘技

术具有明显的发展优势，未来技术发展中，也将进入到更理

想的状态中，通过不同汇编语言之间的相互结合，达到理想

的设计效果。

3

数据挖掘技术应用原理

(Application principle of

data mining technology)

数据挖掘技术在应用过程中的功能实现，通过对用户基