环境:2h4g 60ssd

一、首先安装宝塔面板

yum install -y wget && wget -O install.sh http://download.bt.cn/install/install.sh && sh install.sh

安装环境采用 nginx +php7 +mysql5.5

二、关闭centos下的防火墙

CentOS 6.5关闭防火墙

servcie iptables stop           --临时关闭防火墙

chkconfig iptables off

CentOS 7.2关闭防火墙

systemctl stop firewalld.service #停止firewall

systemctl disable firewalld.service #禁止firewall开机启动

三、新建数据库 so 并导入so.sql 可以用宝塔的phpmyadmin 导入

四、安装dht爬虫 上传worker目录下的文件到/root下

pip install pygeoip

#运行dht爬虫

nohup python simdht_worker.py >/dev/null 2>&1 &

五、安装pyspider

pip install pyspider

编辑配置文件放入root目录下:

vi config.json

按i 编辑

{

"taskdb": "mysql+taskdb://数据库用户:密码@127.0.0.1:3306/taskdb",

"projectdb": "mysql+projectdb://数据库用户:密码@127.0.0.1:3306/projectdb",

"resultdb": "mysql+resultdb://数据库用户:密码@127.0.0.1:3306/resultdb",

"webui": {

"username": "admin", #爬虫管理员

"password": "admin888",#爬虫密码

"need-auth": true

}

}

将projectdb.sql 导入数据库使用phpmyadmin

然后你的ip:5000进入web管理页面  编辑爬虫将数据库修改成你自己的数据库

安装 mysql-connector-python

git clone https://github.com/mysql/mysql-connector-python.git

cd mysql-connector-python

python setup.py install

yum install -y log4j*

磁力mysql搜索_多功能搜索 搜索系统安装 小说 电影 磁力相关推荐

  1. python大数据搜索_【大数据搜索】JZSearch大数据搜索引擎

    大数据的特点有四个层面:第一,数据体量巨大.从TB级别,跃升到PB级别:第二,数据类型繁多.网络日志.视频.图片.地理位置信息等等.第三,价值密度低.以视频为例,连续不间断监控过程中,可能有用的数据仅 ...

  2. lucene 搜索_使用Lucene的搜索服务器搜索Jira问题

    lucene 搜索 您可能还记得我的第一篇博客文章 ,该文章描述了Lucene开发人员如何使用Lucene搜索应用程序查找我们的Jira问题来食用我们自己的狗粮. 该应用程序已成为许多现代Lucene ...

  3. 悟空分词与mysql结合_悟空分词的搜索和排序源码分析之——搜索

    转自:http://blog.codeg.cn/2016/02/02/wukong-source-code-reading/ 搜索过程分析 下面我们来分析一下搜索的过程.首先构造一个SearchReq ...

  4. 蝉知MySQL设置_蝉知网站搜索白屏问题(迁移mysql数据库)

    双11后迁移数据库,网站访问正常,编辑发布文章也正常,就是搜索功能页面白屏. 百思不得其解,debug发现有个索引表eps_search_index,查询sql类似如下: SELECT *, ((1 ...

  5. solr mysql 速度_提高solr的搜索速度

    之前是使用12台机分布式搜索,1台为主机做索引并分发给子机,8台做大索引搜索服务,3 台做小索引搜索服务,配置基本是内存在4-8G,cpu:2-8core的服务器,索引的大小为8G.搜索的响应时间 是 ...

  6. 悟空分词与mysql结合_悟空分词的搜索和排序源码分析之——索引

    转自:http://blog.codeg.cn/2016/02/02/wukong-source-code-reading/ 索引过程分析 下面我们来分析索引过程. // 将文档加入索引 // // ...

  7. dfs深度优先搜索_图的深度优先搜索(DFS)

    dfs深度优先搜索 Depth First Search (DFS) is an algorithm that searches a graph/tree, in a depth-wise manne ...

  8. 没有搜索_没有明显足够搜索量关键词的类目产品应该怎么办?

    没有明显足够搜索量关键词的类目产品应该怎么办? 如果我们产品的需求搜索量不够多,那我们可以用搭售抱大腿的方式来处理关键词. 最经常的情况就是我在阿里巴巴的产品曝光量不够,点击率更低.收集调整了很多的关 ...

  9. 广度优先搜索_快速入门广度优先搜索

    通过学习图的搜索算法,我们来学习下两种常见的算法:BFS.DFS. 广度优先搜索(BFS) 广度优先搜索(Breadth-First-Search),它更像是一种地毯式.层层推进的搜索策略.先从距离起 ...

最新文章

  1. 数据蒋堂 | 如何将数据热导出到文件
  2. B1091 N-自守数 (15分)
  3. Spring Security——login显示[Bad credentials]
  4. sas infile和filename
  5. C++基础18-抽象类-电脑组装练习
  6. 跨浏览器兼容的HTML5视频音频播放器
  7. OpenShift 4 Hands-on Lab (8) 基于Gogs+Nexus+Sonarqube的Jenkins CI/CD Pipeline
  8. PYthon常用模块 logging 日志
  9. IOS工作笔记003---windows给VmWare虚拟机OS系统安装xcode
  10. Leetcode 338.比特位计数
  11. 电脑没有声音显示未启用音频输出设备怎么处理
  12. 大学计算机基础课本知识,大学计算机基础-知识点提纲
  13. lib、dll文件默认打开方式改变之后进行恢复
  14. 英语练习95 Computers
  15. lgv20刷twrp_LG V30+ 日版 L-01K 刷机解锁BL 刷入TWR 回复日版基带
  16. color.cpp:7456: error: (-215) scn == 3 || scn == 4 的解决办法
  17. ESModule中载入commjs
  18. 高并发常见的解决方案
  19. 随机搜索(Random Searching)算法
  20. python爬取汽车之家数据_python 实现汽车之家车型数据爬虫

热门文章

  1. LeetCode——866.回文素数
  2. 权限申请_Android 开发工程师必须掌握的动态权限申请,三步轻松搞定!
  3. linux密码带星号,Linux下实现输入密码以星号显示
  4. uboot下nand flash读写方法_鸿蒙HarmonyOS烧录方法总结
  5. java replacefirst第n_Java中replace()、replaceFirst()和replaceAll()区别
  6. 简述isodata算法的原理_基于UWB技术的室内定位方法简述
  7. PP视频怎么设置退出程序时清空本地播放记录
  8. 联想笔记本重装系统教程
  9. ElasticSearch的update_by_query使用
  10. 【redis】java操作redis时,StringRedisTemplate的expire()方法的作用,什么时候使用