Task01：熟悉新闻推荐系统的基本流程（项目结构）
2024-05-09 11:00:00
Task01：熟悉新闻推荐系统的基本流程（项目结构）
- 0.代码版本
- 1. 文件说明
- 2. 流程图示
- 3. 架构图示[^1]
0.代码版本
该专栏的博客当中涉及的所有代码，均为组队学习期间的版本，大概在2021年12月12日左右，某一个可能的参考版本链接如下：
https://github.com/datawhalechina/fun-rec/tree/9bcfafaae339c443cc7911b9070bf52adef9e994
1. 文件说明
PS D:\Project\fun-rec\codes\news_recsys> tree /f /a
卷 Data 的文件夹 PATH 列表
卷序列号为 7876-8A9C
D:.
+---news_rec_server
| |
| | README.md
| | 说明文件
| |
| | requirements.txt
| | 环境要求
| |
| | server.py
| | 与前端交互的部分，接受请求
| |
| +---conf
| |
| | dao_config.py
| | 设定数据库中数据库的名字和表的名字
| | 设定数据库的host和端口号，用户名及密码
| |
| | proj_path.py
| | 一些路径设置
| |
| | README.md
| | 说明文件
| |
| | stop_words.txt
| | 停用词，用来提取关键词的
| |
| +---controller
| |
| | log_controller.py
| | MVC当中控制日志的controller
| |
| | user_action_controller.py
| | MVC当中控制用户表的controller
| |
| +---dao
| | |
| | | mongo_server.py
| | | MVC当中控制MongoDB的model
| | |
| | | mysql_server.py
| | | MVC当中控制MySQL的model
| | |
| | | README.md
| | | 说明文件
| | |
| | | redis_server.py
| | | MVC当中控制Redis的model
| | |
| | \---entity
| | \--
| | logitem.py
| | 定义日志表的结构
| |
| | register_user.py
| | 定义用户注册表的结构
| |
| | user_collections.py
| | 定义用户收藏表的结构
| |
| | user_exposure.py
| | 定义用户曝光表的结构
| |
| | user_likes.py
| | 定义用户点赞表的结构
| |
| | user_read.py
| | 定义用户阅读表的结构
| |
| +---materials
| | |
| | | process_material.py
| | | 控制处理逻辑：
| | | 1.处理新闻画像
| | | 2.更新新闻动态画像
| | | 3.生成前端展示画像并备份
| | |
| | | process_user.py
| | | 控制处理逻辑：
| | | 1.存储用户曝光数据
| | | 2.更新用户画像
| | |
| | | README.md
| | | 项目说明
| | |
| | | update_redis.py
| | | 控制处理逻辑：
| | | 更新Redis数据
| | |
| | +---material_process
| | |
| | | log_process.py
| | | 处理日志，但是没有被调用
| | |
| | | news_protrait.py
| | | 将新闻加工成画像
| | |
| | | news_to_redis.py
| | | 将新闻复制到Redis
| | |
| | | README.md
| | | 说明文件
| | |
| | | utils.py
| | | 人工提取关键词的函数
| | |
| | +---news_scrapy
| | | | monitor_news.py
| | | | 爬虫监控脚本
| | | |
| | | | scrapy.cfg
| | | | 爬虫配置文件
| | | |
| | | \---sinanews
| | | |
| | | | items.py
| | | | 单条新闻的结构
| | | |
| | | | middlewares.py
| | | | 控制代理等
| | | |
| | | | pipelines.py
| | | | 持久化存储到数据库
| | | |
| | | | run.py
| | | | 定义爬虫运行的命令
| | | |
| | | | settings.py
| | | | 相关的配置
| | | |
| | | | __init__.py
| | | | 初始化文件
| | | |
| | | \---spiders
| | | \--
| | | sina.py
| | | 具体的爬虫文件
| | |
| | | __init__.py
| | | 初始化文件
| | |
| | \---user_process
| | \--
| | user_protrail.py
| | 用户画像处理文件
| |
| | user_to_mysql.py
| | 从Redis记录曝光表
| |
| +---recprocess
| | | offline.py
| | | 控制离线处理的逻辑
| | |
| | | online.py
| | | 控制在线处理的逻辑
| | | 结合server.py提供推荐服务
| | |
| | | README.md
| | | 说明文件
| | |
| | +---cold_start
| | |
| | | cold_start.py
| | | 给不同的人群准备不同的模板
| | | 其实也就是准备推荐页
| | |
| | \---recall
| | \--
| | hot_recall.py
| | 给所有的人准备热门页
| |
| \---scheduler
|
| crawl_news.sh
| 控制爬虫的执行
|
| offline_material_and_user_process.sh
| 控制离线物料的处理
| 包括新闻画像和用户画像
|
| README.md
| 说明问价
|
| run_offline.sh
| 控制离线推荐服务的运行
| 也就是生成热门页和推荐模板
|
\---news_rec_web\---Vue-newsinfo| .babelrc| 好像是转码文件| | package-lock.json| 锁定依赖包的版本| | package.json| 当前的依赖配置| | README.md| 说明文件| | vue.config.js| vue项目的配置文件| | webpack.config.js| 用于配置打包的文件|\---src| App.vue| 根组件| | index.html| 主页面| | main.js| 主脚本| | router.js| 路由脚本| | store.js| 管理用户状态的缓存|+---api| newVue.js| 好像没用| | Vue╕№╨┬░ц ╧ю─┐║═api╜╙┐┌╦╡├ў╬─╡╡ги╧ю─┐╓╨╦∙╙╨╡─╜╙┐┌╬─╡╡╥╘┤╦╬к╫╝гй-╫ю╨┬.docx| 一个API的说明文档，也没用|+---assets| | logo.png| | Vue的logo| || +---css| | index.less| | 好像没用| | | | sign.css| | 登录页面的样式| | | | tab.css| | 没用| | | | test.css| | 顶部导航栏养式| | 切换推荐和热门| || \---js| cookie.js| 应该是管理缓存的|+---components| bottomBar.vue| 底部导航栏| 切换新闻和个人页面| | common.vue| 存放全局变量| | hotLists.vue| 热门页面| | Myself.vue| 个人中心| | NewsInfo.vue| 新闻详情页面| | recLists.vue| 推荐页面| | signIn.vue| 登陆页面| | signUp.vue| 注册页面|+---images| datawhale.png| dw头像| | dw.png| dw二维码|\---lib\---mui\--饿了么的Mint UI库\-但是没有在本项目使用\+---css| icons-extra.css| mui.css| mui.min.css|+---fonts| mui-icons-extra.ttf| mui.ttf|\---jsmui.jsmui.min.js
2. 流程图示
3. 架构图示1
第32期组队学习重点 ↩︎
Task01：熟悉新闻推荐系统的基本流程（项目结构）相关推荐
- Task01：熟悉新闻推荐系统的基本流程（代码复现）
Task01:熟悉新闻推荐系统的基本流程 0.代码版本 1.系统信息 2.`python`环境 3.`MySQL`数据库 4.`MongoDB` 5.`Redis` 6.`Node.js` 7. 复现 ...
- 推荐系统-Task01熟悉新闻推荐系统基本流程
参考资料: 项目流程讲解:https://datawhale.feishu.cn/minutes/obcnzns778b725r5l535j32ohttps://datawhale.feishu.cn ...
- 基于Spark的新闻推荐系统，包含爬虫项目、web网站以及spark推荐系统
下载地址:https://download.csdn.net/download/ouyangxiaobai123/22174377 项目介绍: 基于Spark的新闻推荐系统,包含爬虫项目.web网站以 ...
- Java+SSM(Spring+SpringMVC+Mybatis)+Mysql个性化新闻推荐系统 基于用户、项目、内容、聚类、混合的协同过滤推荐算法WebNewsRSM 源代码下载
Java+SSM(Spring+SpringMVC+Mybatis)+Mysql个性化新闻推荐系统 基于用户.项目.内容.聚类.混合的协同过滤推荐算法WebNewsRSM 源代码下载 一.项目简介 1 ...
- 一、熟悉新闻推荐系统基本流程
一.悉新闻推荐系统基本流程 环境搭建: vmware + ubuntu20.04(虚拟机) 前端框架: Vue. 后端框架: Flask 数据库: MySQL.MongoDB.redis IDE:vs ...
- 推荐系统实践Task1：熟悉新闻推荐系统基本流程
1 环境搭建 操作系统:Windows10 MySQL:8.0.25 Redis:5.0.14 Mongodb:5.0.5 Python 3.8 前端IDE:WebStorm2021.1 2 项目导入 ...
- 新闻App详细开发流程和结构搭建
1.系统情况 该新闻资讯小程序 主要是用户可以查看各种各样的新闻资讯,并且可以进行注册,登录账号,搜索,评论,点赞,收藏,浏览新闻等操作,该小程序分为前台和后台管理系统. 2. 系统相关技术 系统用到 ...
- 新闻推荐系统-项目介绍(PRD)
新闻推荐系统 b站链接 制作不易,6月后开源全部代码以及数据,记得一键三联哦! 开源代码: github代码库 mysql: 链接:https://pan.baidu.com/s/1jLzfYbpsf ...
- 【新闻推荐系统】(task1)系统搭建基本流程
学习总结 sparrow电影推荐系统和我们本次要搭建的新闻推荐系统类似: 首先是离线处理部分: 获取数据:爬取数据后画像处理.用户画像和物品画像,物料存入MongoDB中的SinaNews数据库中:M ...
最新文章
- ansible-playbook jdk安装
- Tools.Png.Compression
- 密码认证协议PAT怎么配置？
- 关于JavaScript中Function Declaration与Function Expression的进一步说明
- Integration testing
- JQuery插件：动态列和无间隙网格布局Mason.js
- java 封装 继承 堕胎_Java的继承、封装和多态
- iwrite提交不了作业_iWrite英语写作教学与评阅系统移动端——学生使用手册
- C++学习——类的初始化
- 13-Java和Scala中的Future
- 测试工程师---笔试面试题
- react 注释html,React之JSX语法
- 英伟达CUDA 10终于开放下载了
- Android AsyncTask Download
- 计算机网络atm功能,ATM技术在计算机网络中的应用
- 要闻君说：小米手机部组织架构突现大调整；河南联通重启VDC扩容工程招标；英特尔已收购Ineda Systems，剑指独显；...
- AD15实际工程的基本操作
- python中爬取网页数据时中文乱码的解决方法
- 如何选择期权品种，是做期货期货还是做期权
- CReFF缓解长尾数据联邦学习（IJCAI 2022）