数据科学风云之互联网金融
开场白
大家好，我是jacky,朱元禄，很高兴与大家做直播分享，我一直都认为直播是一种生活方式，是一种通向未来的沟通方式，所以，今天就以直播的方式，跟大家做分享。
今天，我要分享的主题是《数据科学风云之互联网金融》，我会从三个方面跟大家分享：
互联网金融的生存哲学
机器学习、用户画像、语义分析、决策引擎技术在互联网金融中的应用
数据科学构架下的金融风控。
在主题开播之前，我对未来社会发展、进化的方式谈谈我的看法：三句话，跟大家分享：
第一句：五年之后，我们的竞争环境将从人与人的竞争，转变为人与机器的竞争，这是第一句话。
第二句：十年之后，一切生意都将成为数据生意。
第三句：十五年后，这个社会上只有一种道德，叫机器道德，一种数据科学构架下的机器人的道德。
上面的三句话，作为开场白，下面正式开始我的主题分享。
互联网金融的生存哲学
到底什么才是互联网金融？
对于什么是互联网金融的理解，现在的专家、屌丝和普通吃瓜群众的观点差异是很大的，概况起来分为三种观点
第一种观点：“去中介论”
- p2p,就是个人对个人嘛，但是叫得上纯种P2P模式的金融，现在可能只有拍拍贷一家了，这里我说明一下，我直播的内容涉及到平台名称的，我都是本着客观的心态去说，没哪人任何好处，也不会揭露谁，所以举例的时候，我尽量不去说哪家平台，回到主题，我们说这是互联网金融的第一种理解：去中介。
第二种观点：马云提出的“互联网金融不是金融互联网”
- 从字面上就很好理解，为了不曲解马云先生的观点，我原文读一下马云的讲演词：
未来的金融有两大机会：一个是金融互联网，金融行业走向互联网；第二个是互联网金融，纯粹的外行领导，其实很多行业的创新都是外行进来才引发的。金融行业也需要搅局者，更需要那些外行的人进来进行变革。
所以，我作为一个外行者，一个不懂金融的人，对金融好奇，不是因为他能赚多少钱，而是因为它可以让很多人赚钱，可以让很多人发生变化。我希望外行人能够参与这个领域，不仅仅是来搅局，而是共同创造一个未来。金融是为外行人服务的，不是自己圈里自娱自乐、自己赚钱的。——《马云》
第三种是媒体观点
- 媒体观点大都是我们每天接受的关于互联网金融的信息，从我的角度说，我看到的都是本末倒置，黑白颠倒的，这里就不多说了，媒体也让一个本该说的清、很好理解的行业，让人看的很模糊
我们接着马云提出的“互联网金融不是金融互联网”，引出第一板块，互联网金融生存的第个个讨论点
互联网的人格化生存哲学
这部分分享两句话：
第一句话：互联网文化就是屌丝文化
第二句话：互联网金融的出生就是为生存而奋斗
互联网改变了我们的社交方式、改变了我们的行为方式、改变了我们的人性。很多人在线上和线下是两种人格，很难进行统一。线下是禽兽，线上往往是道貌岸然；有些人线下是君子，到了线上就满嘴喷粪。
互联网的文化就是屌丝文化，拿直播平台举例吧，首先这次直播得感谢云学APP给我提供的服务，感谢育茹老师的文案宣传和直播辅助。回到屌丝文化，回到直播平台，我自己本身也是一个屌丝，年龄越大，越希望当一个屌丝，可以更自由，随意的更大家分享，可以不用穿着西服去跟人喝茶握手，其实，做一个屌丝的感觉很好。
其实我本人是反感今日头条和快手直播的，我觉得它们把人类的价值观带入了误区。但是快手直播的用户人数达到了5.6亿，恐怕现在微信的活跃度也就如此吧，快手拿什么取胜，得屌丝者得天下，我们企业的管理者要时刻想着屌丝的需求，
其实这种屌丝文化对于社会来说是一把双刃剑，对于互联网金融企业来说，P2P既是可以融资的好地方，一样是可以诈骗的好地方。人性一旦发生变化，自然也会改变人的生活方式以及行为逻辑，最终导致金融逻辑也发生极大的变化。如何适应互联网文化，对金融机构而言是个极大的挑战。而这个挑战我们不得不面对，就像开场白我说的一样，人类未来会无可避免的面临互联网生活。
上面就是我跟大家分享的第一部分：互联网金融的生存哲学，一句话总结：适者生存，不断进化。
下面跟大家分享这次主题的“主菜”了，数据科学与互联网金融
数据科学与互联网金融
互联网金融行业完完全全是一个数据驱动的行业
互联网金融关键技术环节
整理逻辑
可利用的数据源
业务数据
- 公司内部数据：借款人的历史，借款人还款的表现如何
公开数据
- 在互联网上可以爬取到的数据，如人法失信的信息，某个行业的信息，公司的一些黄页
用户授权数据
- 如用户消费的历史，用户信用卡的账单
用何种技术来挖掘应用这些数据源？
知识图谱
- 把数据源经过清洗后，通过知识图谱的方式，把数据很好的组织起来。
决策引擎
- 作用：通过决策引擎，能够在给用户授信的环节提供决策
机器学习
- 通用技术
用户画像技术
语言分析技术
上面的技术，在后面的分享我会展开来讲。
上述技术应用到了哪些环节？
营销环境
- 通过数据的科学手段，找到我们的渠道，找到我们的客户。
信用风险管理
- 为了给用户授信，我们要通过技术手段判断客户信用风险是怎样的，我们给他多少的额度，多少的期限，多少的费率，这些信用风险管理环节都需要数据科学的技术手段实现。
反欺诈
- 找出骗贷的人群，加以清理
贷后管理
合规检测
- 现在监管越来越严，我们要监控我们跟用户交互的各个环节是否合规
我们该如何掌握这些技术？
为什么要讲本部分？
对我们了解业务，提升能力，提高应聘的成功率是很有帮助的，更能帮助学习数据分析和数据挖掘的朋友，厘清学习思路，数据科学领域，我们哪些该学，哪些学习就不要浪费时间了
数据准备
- 数据准备是会被很多人忽视的一项技术，但是它非常的重要，因为它要为后续的各种技术和业务环节做支撑的。
数据准备包含哪些技术呢？
数据仓库
网络爬虫
ID Mapping
数据仓库技术
- 用途：通过数据仓库技术，我们能把数据很好的管理起来
- 举例：我们互联网金融的很多数据都放在我们自己的数据库中，针对分散在各处的业务数据，我们需要建立ETL过程，把非结构性数据转换为结构性数据，把数据实时的同步到我们数据库当中。
从业者和应聘者要具备哪些能力和技能？
- 通常来讲，对于互联网金融企业，整个数据仓库的构架是基于Hadoop工具链的，我们需要掌握Hadoop的集群,掌握Hive(/haiv/).掌握卡夫卡。掌握这些，可以帮助我们完成大数据的这些基础设施的工作。
Hadoop通俗的解释
假如说你有一个篮子水果，你想知道苹果和梨的数量是多少，那么只要一个一个数就可以知道有多少了。
如果你有一个集装箱水果，这时候就需要很多人同时帮你数了，这相当于多进程或多线程。
如果你很多个集装箱的水果，这时就需要分布式计算了，也就是Hadoop。
网络爬虫
前面说过，用户的人法失信，企业黄页，工商的数据，我们要有能力抓下来，具体的过程和教学分享，我在新浪微博 数据分析－jacky,和微信公众号：数据分析部落，都有视频教学的分享，感兴趣的朋友，可以观看一下，都是免费分享的。
ID Mapping
我们拿到的数据都是放在不同的数据源当中的，我们要通过ID Mapping把这些数据做关联，可以根据用户ID关联起来，也可以根据用户的手机号关联起来，或是通过其他的字段关联起来的，做完ID Mapping之后，我们就能形成一个完整的数据视图，供后续的各种技术和环节进行使用。
知识图谱
下面说一说互联网领域“引以为傲”的技术—知识图谱，前面我们说我们通过数据准备，通过ID Mapping,已经把数据关联起来了，但是实际上，这些数据是有很复杂的网状结构的，我们需要把这些数据用知识图谱的形式进行组织。
应用的领域
授信建模
- 模型构建举例：对用户身份id、电话号码信息进行标准化处理，对地址类信息使用深度学习方法进行匹配，如果借款人在平台的表现很良好，那我们就可以假设，跟他同一地址的人，同一单位人资质就很好。
反欺诈建模
在互联网金融中，很多的交易环节是在线上操作的，我们要在线上，在看不到客户的情况下给客户授信，把我们的贷款放出去，那很多别有用心的人就来了，我们在构架了知识图谱的体系之后，就有很多的技术手段，从图谱中侦破出这些欺诈的案件。
决策引擎
我们在给用户授信的过程中，是要做非常多的决策的，给用户多少的额度，给他什么样的费率，给他多长的期限，这些都需要做决策。
通常，互金企业会使用一些决策引擎软件：
商用的：blaze
开源的：
机器学习
机器学习包括深度学习技术，已经应用到我们互联网金融中的各个环节，从开始的营销、授信、反欺诈，贷中管理，到最后的客服，都用到了机器学习的技术。
授信环节举例：
- 金融行业很多的特征是比较高级的特征，我们数据科学家一方面开发这些特性进行授信，同时，我们也在非结构数据中使用深度学习技术，从当中提取特征，我们普及下，深度学习本质是特征的学习，这些用深度学习提取出来的方法，我们在跟专家的经验所开发出的特征做一个集成，这样就能达到最优的效果。
反欺诈环节举例：
- 我们在反欺诈的环节中作声纹识别，有些欺诈人在打电话的过程中，换了不同的号码，我们黑名单里记录的还是他以前老的电话号码，我们用机器学习，用声纹识别的技术，能够识别出他的声音，就可以判定为一次欺诈的事件。
我们也可以通过机器学习挖掘出啊黑产中使用的术语，我们也可以在网络上挖掘贷款中介在网络上留下的电话，以上都是机器学习在发欺诈环节中的一些应用。
营销获客环节举例：
这里可以观看我的免费视频课程，内容很多，就不赘述了。
贷中管理环节举例：
用机器学习预测是否需要提前介入。
用户画像
用户画像跟前面机器学习技术是交互来使用的，比如我们给用户打标签，经常也是机器学习的方法来做的。
应用场景—活动推广
互联网金融企业经常会有一些线上的活动，这些活动通常是根据不同客群来的，我们就要对客户进行分群，针对不同的客户进行研究，，我们就要了解我们客群的整体的画像，我们通过这样一个画像，了解到我们整体面对的客群是什么样的，从而优化我们产品策略，优化我们的市场活动，优化我们客户的策略。
语义分析
在整个互联网金融当中，有很多需要跟客户进行接触的环节，从最开始获客阶段，到后面客服服务的阶段，包括客户没有还款，催收介入的环节，都需要跟客户接触。跟客户接触的过程中，有语音的交互，也有文字的交互，那我们需要了解客户真实意图是什么。
举例来说，某一客户打来电话，向我们咨询问题的时候，我们的知识库里面是有标准答案的，我们通过语义分析的技术，来对语义的相似度进行计算，从而在话术方面给予更优，更快的一个回复
同样，对内来说，语义分析也可以检测我们业务人员的服务质量，互联网金融越来越合规了，我们一线的业务人员跟客户打交道的时候，经常会说一些不太合格的语言，我们通过语义分析，可以分析我们的业务人员跟客户交互的时候都用了什么语言来说。
数据科学风云之互联网金融相关推荐
- 大数据应用之金融行业-互联网金融对传统银行业的冲击，狼真的来了
一.背景资料 2013年6月13日,余额宝面世,截止3季度末,余额宝已经吸纳资金556.53亿元,实际用户1367.88万户,11月11日当天即时收益率4.8250%.10月28日,"百度金 ...
- 大数据背景下的互联网金融应用领域
以下的内容均是摘自2014BDTC[陈继东:解密蚂蚁金服基于大数据的安全和风控体系] 链接如下http://www.csdn.net/article/2014-12-05/2822961?locati ...
- 大数据对互联网金融的作用和影响(理财篇)
大数据分析的火爆,也带火了互联网金融公司.面对当下大数据分析发展的势头正猛,多少人都开始前仆后继地想在大数据分析行业分得属于自己的一杯羹.但是,想成为数据分析师是非常不简单的,你不能单单靠自学,更不能 ...
- 大数据助力互联网金融
合理利用大数据分析,挖掘客户需求,打造特色的产品与服务,为客户提供优秀的产品与服务,是当下互联网金融的内在需求. "在互联网金融领域,创业者创新在前,管理者监管在后,也就是说行业发展推动政府 ...
- 数据科学在风控中的应用-笔记
风控流程 -信贷风控决策体系流程 客户申请-资料填写-要素验证-合规性验证-规则验证-黑名单-反欺诈-信用评分-放款-贷后管理 -某消费金融公司决策体系流程 禁入规则校验:基本信息校验.人行征信分级 ...
- 区块链和数据科学：如果同时应用这两种技术，将会实现什么?
区块链和大数据都是顶尖的新兴技术,有望彻底改变多个行业,从根本上改变企业和组织的运营方式.人们可能会认为这些技术是互斥的:每种技术都会形成独特的路径,且彼此独立地应用. 但你要是这么想的话,你就将会错 ...
- 数据科学与大数据技术和计算机科学与技术哪个好
如今大学生面对众多的可选专业,哪个专业最有前景呢? 1.信息与通信工程 说到这个专业大家首先想到的肯定是"两电一邮",没错北京邮电大学.西安电子科技大学.电子科技大学这三所高校的信 ...
- 万亿数字化市场，数据科学为何能扛起“价值担当”？
数据科学家,被誉是"21世纪最性感的职业". 如今,一股数据科学的热潮正席卷国内各大高校.今年十月底,一系列数据科学的网络直播课在多所大学火爆异常,吸引来自北大.清华.北师大.哈工 ...
- 【渝粤题库】广东开放大学 互联网金融 形成性考核
选择题 题目:互联网金融的本质是 答案: A.平台经济 B.双边市场经济 C.营销模式 D.多边市场经济 题目:大数据的特点不包括 答案: A.多样 B.高速 C.低速 D.海量 题目:借贷关系的达成 ...
- 数据科学与大数据技术和大数据管理与应用哪个好
学计算机学与技术好还是学大数据好? 本人认为学大数据好一些.首先,当前计算机科学与技术和大数据这两个专业的热度都比较高,这两个专业本身也没有所谓的好坏之分,而且这两个专业本身也有非常紧密的联系,当前计 ...
最新文章
- 【连载】优秀程序员的 45 个习惯之习惯27
- python 调用 c 生成数组_python调用c++传递数组的实例
- RocketMQ-初体验RocketMQ(04)_使用RocketMQ Console源码搭建RocketMQ Console与基本使用
- 信号的采样与恢复matlab实验报告,实验七 连续信号的采样与恢复
- 概率论和数理统计 - 04 -
- DTC精彩回顾—王义成：国产数据库技术发展的探索与思考
- 固定权重 关于Mxnet的一些基础知识理解(1)
- SpringMvc-NativeWebRequest接口
- 一台电脑有线连接路由器另一台无线连接_两个无线路由器怎么实现无线桥接【详细介绍】...
- 路径规划基本介绍（一）
- {最强实用}手机衩偷了，可以用这招轻易取回来(值得学习)
- PS、Ai、Pr等如何修改安装位置的问题
- Opcode缓存介绍
- 中科大入学考试（数学）
- 【已解决】surface 电池不好充电显示 未连接 ，将充电的接口换个方向就解决了
- x264中码率控制（三）rate_estimate_qscale函数
- 什么是NaN？以及如何检查值是否为NaN？
- RCK127硬齿面减速器的优势
- Unity3D的uniSWF插件动态加载SWF UI资源
- 最小二乘法的矩阵形式推导