大数据风控用了什么模型?有效性如何?

理由
举报 取消

风控具体指的是什么?风控中得数据、特征、算法分别有哪些?具体的风控应用案例有哪些?风控的评估效果如何?风控过程中得注意点?本题已加入知乎圆桌 »金融科技浪潮 ,更多「金融科技」话题讨论欢迎关注

2017年12月10日 10 条回复 1980 次浏览

发起人:sky2012 初入职场

不懂就问 不服来答 (๑> <)♥

回复 ( 10 )

  1. 项亮
    理由
    举报 取消

    目前贷款的风控因为每一个样本的收集都需要放款来收集,想想每人放一万,一个亿也就只能放1万人,所以样本量不会太大。所以所谓大数据风控主要是大在特征的数据上。很多时候是用了很多传统上不怎么敢用的特征。比如传统风控比较害怕missing value 比较害怕不稳定的特征 这些都是大数据风控需要解决的。

    说到模型,既然是特征多,样本少,那就需要一个非常抗过拟合的模型。另外如果是单独针对反欺诈而不是信用,因为问题比较非线性,所以需要一个有非线性能力的模型。满足这两者要求的都可以。

    当然上面说到的只是针对预测贷款用户好坏的二分类问题,至于很多风控领域的其他问题,就有不同的解决方案了。

    说到有效性。据我所知目前市场上有一些非常小额短期的产品已经可以完全按照一个模型放款并盈利了。完全不需要人参与。这类产品通过小额解决了样本少的问题。通过短期解决了收集label慢的问题。所以还不太容易推广到大额长期产品上去。

  2. 黄席盛
    理由
    举报 取消

    我理解,目前大数据风控主要分为三类:

    1. 反欺诈模型
    2. 二元好坏模型
    3. 资产包风控模型

    一、反欺诈模型

    大数据风控只能用于小微资产(现金贷、消费贷、小微企业贷),而不可能用于基建、政信。对于小微资产,还款能力不是核心问题,主要风险是还款意愿。因此目前市面上大数据风控90%的价值在于反欺诈。

    反欺诈的大数据风控主要基于两套工具:交叉验证、聚类分析。

    交叉验证主要是由人工判断规则,系统校验是否符合实际情况。如通讯录和通话记录校验、电商记录校验、设备指纹校验、多信息源地理位置校验。以现金贷产品为例,大多数现金贷产品的基础风控逻辑就是两个摄像头,后摄像头识别身份证,前摄像头做人脸的活体识别,人脸对上身份证,就做好了反欺诈,之后就扔到二元好坏模型做评估。

    聚类分析和交叉验证的区别是,交叉验证很多时候根据一些人工的规则,但是聚类分析主要是根据结果反向推导。比如通过历史资产的履约情况,发现在19-25岁区间的人群风险较低、发现输入地址时间比较长的人群风险较高、发现填写收入在30000以上的风险比3000以下还高。有的规则最后可以通过逻辑解释,有的规则最后根本也无法理解为什么。但是如果一个新的进件,和之前的「坏客户」比较相似,那么他大概率是坏客户。

    以同盾为例,主要向资产、资金、支付、场景四方输出反欺诈SaaS,提供:

    1. 交叉验证工具
    2. 聚类分析报告
    3. 黑(灰)名单数据库

    二、二元好坏模型

    二元好坏模型的核心价值是量化定价,包括授信额度、贷款期限、利率等。主要工具就是评分卡,先给用户信用评分定级,然后不同级别不同利率。宜人贷分为ABCD类客户,利率分别为17%、27%、34%、40%;Lending Club分为从A1-G5共35个级别,利率水平从6%到26%不等。(16年初数据)

    至于贷款额度,一般随行就市。

    1. 个人现金贷:小额现金贷以随行就市为基础,通过拍脑袋决定,在1000-5000不等。
    2. 个人消费贷:由于中国居民杠杆率较低,基本上3C、医美、教育的资金需求都低于客户授信额,因此直接使用交易金额就行。对于车贷行业,一般也是简单分档,30万以上车审核较严,10万以下车分36期,客户还款压力也不大。
    3. 小微企业贷:目前大数据应用不多,主要因为小微企业造假动力强,基础数据都难以确保真实性。目前小微企业还是以抵押贷款、法人贷款、供应链融资为主,信用贷主要还是依靠IPC方式通过线下业务员重制报表实现。电商类企业的风控模型基本上是根据流水的比例来。

    三、资产包风控模型

    上述都是基于单笔资产的方法论,但是从资产包层面的风控有不同的考虑。

    假设还款是1,逾期是0,不同的客户有不同的表现:

    1. A:1111111111
    2. B:0000000000
    3. C:0011011101

    A是好人,B是坏人,这两个问题没有异议。很多时候,基于前两种模型我们会认为C是坏人,但是从资产包层面,他提供了不菲的罚息收益。

    此外,资产包的风控还要考虑不同资产的相关性,考虑优先劣后配比后的预期风险改变,考虑流动性的风险。

    四、目前的市场格局和问题

    第一个问题,长尾征信公司的价值。

    放贷市场是碎片化的,但是征信服务提供商有规模效应,应当是集中的。也就是百融同盾两家争天下,芝麻信用、腾讯信用作为两个数据库对外输出和输入数据。

    我搞不懂,在one or zero的市场环境下,为什么现在冒出那么多小的征信公司,还拿到融资,商业价值在哪里?尤其是像某些单一数据源的征信公司,我感觉被收购的价值都没有,大公司不如坐等你死然后收编团队?这个问题我没有答案,向各位专家请教。

    第二个问题,过拟合问题。

    信贷是周期性的,大周期小周期一堆。科技也是有周期性的,学生贷火起来,所有公司干学生贷,2年吃完整个市场,其他任何资产都面临创业公司蜂拥而上的局面。

    数据量有限的情况下,模型可能过度地学习训练数据中的细节和噪音,以至于模型在新的数据上表现很差,这意味着训练数据中的噪音或者随机波动也被当做概念被模型学习了。而这件事,在市场环境发生变化之前可能没有任何人知道。

    第三个问题,系统性风险。

    目前大数据风控应用最广的是小额现金贷,因为他的数据反馈快(30天一反馈),因此比较容易做机器学习。市场上所有现金贷看下来,坏账率约为4-8%,都是一开始8%或者更高,通过机器学习降低到4%左右。但这个数据其实意义不大,依然无法反驳复贷的担忧:现金贷的借款人重复借款,本质上每个借款人都成为一个小的庞氏骗局池。就像当初和泛亚一起玩的经纪公司都盈利,但是最后还是免不了崩盘,过度相信科技和数据也许是金融领域更大的风险。

    利益相关:没服务过征信相关项目,完全技术白痴,仅代表个人观点。

  3. iseeyou
    理由
    举报 取消

    结合平时的工作经验回答下,大数据风控一般来讲有如下几个特征:

    1.高对抗性

    现在黑产非常庞大,刷单、薅羊毛、密码爆破、扫号、发帖机、灌水等等时时刻刻都在发生,无时无刻不在攻防。

    2.灵活性

    攻击者不断变化特征和行为,风控策略每天都需要更新,必须要保证风控策略的灵活性。

    3.准确性

    风控策略首先需要保证准确性,在保证准确性的同时再去提高召回率,准确性太低肯定会引起大量用户投诉。

    大数据风控对模型的挑战:

    1.模型的泛化能力

    我们平时上线的一些模型,上线时可能效果非常好,但是上线后命中量基本是直线下降状态,一周后命中量可能降到接近零。不得不佩服黑产的强大,比较简单的模型意义不大,几天甚至几个小时就可以尝试出来并规避。我们知道复杂的特征和模型可以增强模型的泛化能力,采用复杂特征和更多维度的特征是很有效的。

    2.模型的可解释性

    风控模型识别出来的数据需要做相应的处理,任何机器识别处理都不可能完全避免用户的投诉和异义,对于模型一定要了解业务特征,能够转化为客服和用户可以理解的语言去解释,使得任何处理我们都有理有据。

    3.模型的更新速度

    高对抗性场景下,模型快速更新是关键

    使用的模型:

    1.聚类: 比如常见的相似文本聚类,大量用户发相似帖子是常见的灌水行为,需要处理。

    2.分类:比如我们根据已经识别的有风险和无风险的行为,去预测现在正在发生的行为,根据关键字动态去识别预测效果不错。

    3.离群点检测:比如登录行为,当同ip登录大量登录失败,这种行为可能是暴力破解,当同ip登录基本全部成功,这种行为可能是机器登录,采用离群点检测发现这两类行为并处理。

    4.深度学习:广告图像识别,黄色图像识别等

    具体模型和技术:

    我们主要使用了kmeans,dbscan,随机森林,c4.5决策树,logistic regression,cart,adaboost,svm,em,深度学习等模型。数据和特征比模型更重要,数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。使用的框架有spark,storm,hadoop,caffe,libsvm,scikit-learn等

  4. 张大万
    理由
    举报 取消

    为什么觉得大家都在胡扯一气…

    行业普遍使用的模型:Logistic回归

    目前国内90%以上的建模团队都使用Logistic回归做评分卡,当然还有少数人使用决策树,神经网络和机器学习目前还没在此行业有显著成果。

    Logistic制作评分卡模型的衡量标准是K-S值的大小,依据数据质量和建模能力在0-0.5之间,一般在0.3以上才可用,好的模型可以达到0.35。

    芝麻分模型的K-S值在0.32左右。

    以上是针对主问题给的答复,附加问题太多太散,涉及面太广,建议题主先熟悉下这个行业

    以上!

  5. 老夫
    理由
    举报 取消

    相对于传统风控,大数据风控在建模原理和方法论上并无本质区别,只不过是通过互联网的红利,采集到更多维的数据变量,通过分析数据的相关性来加强或者替代传统的强因果关系。

    建模原理和方法论上并无本质区别

    大数据风控即大数据风险控制,是指通过运用大数据构建模型的方法对借款人进行风险控制和风险提示。

    要理解大数据风控,首先要把传统金融风控搞清楚。这里以银行的信用卡部门为例, 解析一下传统银行的信用审批流程。(附图综合了几家银行信用卡中心的审核流程)

    信用卡审核简易流程图

    从流程上看,银行的信用审核,是以风控评分卡模型的自动审核为主,以人工审核为辅的模式,在需要特定审核的环节由人工进行,比如验证你的工作、校验你联系人的真实性等。这也是为什么在现实生活中一部分人在信用卡申请过程中会收到人工审核电话,一部分人并不需要该验证环节即可获得信用卡。

    从审核数据上看,对于银行来说,影响审批额度的主要因素包括客户基本特征(包括男女、年龄、教育程度等等)、客户的风险暴露情况(社会收入、债务情况、还债能力综合评估)、现有的社会表现(房贷还款情况、其他银行信用卡使用情况等)。

    不管是中资还是外资银行,大致都遵循了这样一套风险评估和信用审核的逻辑。对比之下,就可以看出,时下互联网金融鼓吹的大数据风控在原理和方法论上跟传统金融的风险控制并没有本质区别。

    市场空白给予机会 以数据相关性替代因果关系

    大数据风控相对于传统风控来说,建模方式和原理其实是一样的,其核心是侧重在利用更多维的数据,更多互联网的足迹,更多传统金融没有触及到的数据。

    比如电商的网页浏览、客户在app的行为轨迹、甚至GPS的位置信息等,这些信息看似和一个客户是否可能违约没有直接关系,但实则通过大量的数据累积,能够产生出非常有效的识别客户的能力。

    大数据风控与传统银行风控的比较

    数据量大是大数据风控一直宣传的活字招牌,至于多少的数据量级才能算得上大,业内一直没有统一或者较为通用的标准。 根据公开资料,蚂蚁金服的风控核心CTU 投入了2200多台服务器,专门用于风险的检测、分析和处置。新华网的报道显示,蚂蚁金服每天处理2亿条数据,数据维度有10万多个。京东金融2016年6月,投资了美国的大数据公司ZestFinance,之后还与其联合发起成立了合资公司ZRobot。ZRobot主要定位在为互金企业提供数据建模、信用评分、资产定价、欺诈识别等服务。京东金融依靠中国最大的电商-京东的数据量,在国内已算大数据拥有者。

    聚秀资本合伙人江南愤青表示,按照惠普副总裁提及的大数据概念,全球有能力进行所谓的大数据应用的公司不超过50家。大量的公司只是在做数据的优化,根本不能称之为大数据风控。

    在数据维度这个层级,传统金融风控和大数据风控还有一个显著的区别在于传统金融数据和非传统金融数据的应用。传统的金融数据包括我们上文中提及的个人社会特征、收入、借贷情况等等。而互金公司的大数据风控,采纳了大量的非传统金融数据。比如阿里巴巴的网购记录,京东的消费记录等等。

    在运行逻辑上,不强调强因果关系,看重统计学上的相关性是大数据风控区别于传统金融风控的典型特征。传统金融机构强调因果,讲究两个变量之间必须存在逻辑上能够讲通因果。一位不愿具名的前城商行信用卡中心负责人表示,在银行的信用评审中,他们即便发现了一些非传统变量在统计上看来跟审核结果存在某种相关性,如果不能够在逻辑上讲通,他们也断然不会采用。

    “比如我们发现在某个时间点来申请的客户,从后期数据表现上来看逾期的概率就是比较高。但如果没办法从逻辑上解释通其中的道理,我们是不会贸然把它作为因变量放在审核模型当中去的。”

    但与传统金融机构不同,互金机构的大数据风控吸收的正是大量的潜在相关性数据。为何说是潜在?因为通过互联网的方式抓取大量数据之后,一定会有一个数据分析和筛选的过程,在这个过程中,大量数据会被证明不相关直接被踢掉。留下的相关性数据才会被运用到风险审核当中去。

    传统的线下小贷公司在放贷过程中,会有一些自己的经验判断,在面对一些特定行为特征、生活习惯的客户会首先有一个自己的直观打分判断,这些是长期经验累积的结果。现在一些互金公司可以通过技术化的手段把这些也变成输入变量纳入到风控审核当中去。

    大数据风控需要纳入非传统变量,将风控审核的因果关系放宽到相关关系是有其业务原因的。伴随着互联网金融的火热,大数据风控逐渐升温。中国的互联网金融,服务的客群简言之可以分为两类:无信贷历史记录者和差信贷历史记录者。而这两部分人群,恰恰是中国传统金融机构没有服务到的两部分人群。

    这两部分人群包括中国的学生、蓝领、以及一部分的白领等。这部分客群,在央行没有征信报告,几乎没有过往金融服务记录,照搬传统金融的风险审核会出现水土不服的状况。

    对传统金融机构而已,在对一个客户进行信用风险评估时,工作单位是强变量。这直接关系到他的社保记录。但对一个没有固定工作的客户来讲,工作单位就变成了一个弱变量,对于最后的风控审核助力有限。

    同理,学历、居住地、借贷记录这些传统的强金融风控指标可能在面对无信贷记录者和差信贷记录者时都会面临同样的问题。这迫使互金公司需要通过其他方式补充新的风控数据来源,并且验证这些数据的有效性。

    场景厮杀激烈 大数据风控有效性有待验证

    相对于传统金融机构,互金公司扩大了非传统数据获取的途径,对于新客户群体的风险定价,是一种风险数据的补充。但这些数据的金融属性有多强,仍然有待验证。

    而数据的金融属性取决于如何去挖掘,如京东电商上购物记录其实是目标客群很好的刻画,送货的地址,GPS经常驻留的地址等,是一个人的居住地的概率很大。在这一点上,腾讯的微众银行、京东金融,蚂蚁金服等互联网巨头手中都掌握着海量的数据。

    各大公司的风控体系 来源:根据网络公开资料整理

    根据《证券日报》报道,微众银行旗下微粒贷的单笔均借款金额低于1万元,逾期率低于0.3%。“微众可以拿到腾讯的数据,这是其他所有公司没发比的,在小额借贷领域,他们的优势太明显了。”前述不愿具名人士透露。

    巨头优势明显,但大公司不可能面面俱到,布局下各种场景。并不代表创业公司的路已被堵死。在互联网巨头尚未涉及的领域,小步快跑,比巨头更早的抢下赛道,拿到数据,并且优化自己的数据应用能力,成为创业公司杀出重围的一条路径。

    有一个稳定的场景,能够在自然状态下真实地采集到客户行为所展现的数据,这是大数据风控的前提。在一些尚未被巨头嗅到的场景领域,竞争厮杀已经非常激烈。

    农分期、会分期、房司令、租房宝、蜡笔分期、学好贷、爱旅行、趣分期、分期乐、买单侠、优分期·······农业、租房、蓝领、学生、旅游等各个场景和不同人群下的争夺已经日趋白热化。

    陆金所CEO计葵生在2016年的中国支付清算与互联网金融论坛上自曝陆金所的年华坏账率在5%——6%。并且,根据腾讯财经的报道,计葵生指出,如果风控做不好,P2P的行业坏账率将远超10%。根据新经济100人的报道,学生分期起家的分期乐坏账率低于1%。银监会数据显示,2016年第三季度,我国大型商业银行的不良贷款率为1.67%。

    而在今年11月,《21世纪经济报道》披露的苏宁消费金融公司的贷款不良率高达10.37%。该文章指出,苏宁内部人士透露,10.37%的坏账绝对不是行业最高的,很多面向大学生提供分期消费的平台,不良率超过25%。

    坏账率、不良率、逾期率,各种不同的指标计算口径不同,结果大相径庭。缺乏统一的行业标准,野蛮生长下也不乏充斥着故意夸大和谎言之嫌。互金行业的坏账像一个披着面纱的女郎,始终不得其真容。

    不同客群的坏账表现有其梯度差异,但是良好的数据获取和数据应用能力可能会在一定程度上优化数字表现,成为企业的一道有力护城河,这也是留给创业公司的一个机会。

    国内的大数据风控困境

    首先是中国征信体系的不完善。要知道大数据风控的第一步就是获取数据。波士顿咨询的报告显示,央行个人征信记录覆盖率仅仅为35%。而互金企业的目标用户也多为信用卡无法触达的人群,可想而知,这批人就更没有什么信用记录可言了。而各家消费金融公司的数据相互分享可能性很小。现在大多数公司的做法是将自己的数据共享给第三方征信机构,再从征信机构那里获取数据,但这种数据的有效性存疑。获取有用数据或许成为很多公司构建自己的大数据风控模型的第一个难题。

    其次是中国的团体欺诈现象。前Capital One高管,现任趣店CRO的粘旻环女士就表示,“目前国内的信用市场,反欺诈仍然是头号难题”。在中国,这种欺诈套现早已做成了一个产业链,从中介公司到商家甚至是自家公司的销售,沆瀣一气。通过各种方式召集法律意识淡薄的用户来进行借贷,再将借到的钱瓜分。而诈骗分子跑路后,还款以及逾期都压到了用户的头上。

    然而前来申请借款的用户用的都是真实的信息,平台给用户的额度也在合理的范围内,这样的诈骗方式让平台处于很被动的处境。现在的处理方式只能是发现一起就抓一起,发生之后处理的速度是关键。不过粘旻环女士也表示之后会采用更主动的方式来防御。“目前,我们在搜集我们自己和同行们遇到的相关案例,寻找这部分容易被利用的人群身上的共性。在有足够的样本以后,我们可以梳理出这些用户的画像,并建立相关的风控模型。”

    第三个难题就是金融行业频发的“黑天鹅”事件。如今大数据被吹的神乎其神的一个重要原因就是认为它可以有效地推演及预测未来。但是立足于统计学基础之上的大数据可以预测出跳出规则之外的黑天鹅事件吗?恐怕很难。在国内大数据风控的发展仅仅经历了几年的时间,在这期间中国还未发生过类似2008年美国次贷危机的大规模金融危机。因此,国内大部分公司构建的大数据风控体系没有经历过极端经济环境的压力测试,届时可能完全失灵。

    做风控审核,其实是审人,人性的展现,大数据模型虽然讲究的是大和相关性,但用于金融的风控,有些前提是必要的:

    1 这些个大数据必须是客户自然行为的流露和展现,这样才能避免逆向选择,数据才有效。

    2 采集的过程稳定,可持续,这样才长久。

    3 数据够一定厚度,才能真正起到作用。

    现在的阿里腾讯京东做金融大数据风控都有如上一些特点。

  6. Sherry Zhang
    理由
    举报 取消

    之前采访过一位智能信贷公司的数据决策总监。他是这么和我说的:大数据风控的核心点在于——对数据的理解有多深。做大数据风控的人对数据要极其敏感,因此他们会花很多时间在变量上。

    关于把什么变量放在模型里,他和我举过两个例子。

    第一个是和电商合作做变量的例子:他们可以通过这些合作看到用户订票的信息、机票的信息,比如公务舱、经济舱这些信息——这本身其实也能说明一个人的基本经济情况。

    但是他们会做得更细,会继续做一些叠加或衍生。比如他们会不看公务舱和经济舱的区分,而看飞行每公里的消费单价。因为公务舱和经济舱的价格也会波动很大,有的时候经济舱也有特价票、公务舱也会有优惠活动,所以他们会看每公里的消费金额。

    第二个例子是流水话单。他们可以基于同一份电话单,做出很多不一样的变量。比如说用户是否跟某某类的店打过电话?打电话的频次怎么样?趋势怎么样?

    如果用户经常跟贷款中介打电话,或者银行催收中心打电话,那用户应该相对比较缺钱,或者是曾经有过违约的历史。

    相反,如果用户经常给花店打电话买花,说明用户可能是个“好人”;如果经常给婴儿店打电话,说明他可能有孩子,有孩子的话一般比较稳定、也靠谱一些。

    他们会花非常多的时间去衍生这些变量,因为它更直接地反映了这个人的消费行为。当然,也有些时候,这些可能是无用功,有时甚至90%做出来的变量都没有用,但试错筛选出哪怕只有不到10%的可用变量,最终风控效果才是最重要的。

    所以,总监觉得,做风控模型这事儿,一方面是个比较“蓝领”的事儿,因为工作需要做得非常细致。但另一方面,是做模型有时也比较“艺术”,因为这是一个比见仁见智的事情。

    以上。

    有兴趣的小伙伴请读全文:

  7. 穿靴子的猫
    理由
    举报 取消

    楼主范围太广。不同的行业有不同的风控目标,不同的风控过程和程度,也有不同的风控结果。其次同一行业风险也分多种风险,对不同的风险(信用风险,操作风险,市场风险)也有不同的应对办法以及模型建设。

    只讲一讲中国金融行业中的银行的信用风控与大数据的渊源。

    1,风控意义与大数据建模分析优点:

    中国的金融行业必定在金融全球化的洗礼下一步步找到更大市场,相比中国制造业有成长更快的趋势。而此刻,风控就显得尤为重要。都知道收益越大风险越大,当然而我们更想的如果是在中间找到一个平衡点让收益大的情况下拥有尽可能小的风险。而大数据建模就可以尽可能实现这点:提高审批效率,降低人工成本,减少因非客观判断原因造成的失误的风险。

    2,大数据建模目标。第一点目标做信贷工厂的量化建设:清洗银行历史数据用于数据建模形成评分卡,再与规则结合对贷款生命周期三个阶段(申请贷后催收)的好坏客户提供决策建议的预测框架(自动通过,人工审核,审慎审核,还是建议拒绝)。

    第二点目标内评合规:背景是巴塞尔协议:衡量银行的资本充足率和资本准备是符合巴塞尔协议的规定,如果不符合应该采取什么样的措施。

    3,关于建模:前:建模的变量以及数据都是通过层层原始分析,挖掘分析,变量分组,变量降维,过度拟合VIF检测,以及业务逻辑选择出来的。中:而模型的建设本来有方差分析,相关性分析,逻辑回归,决策树,神经网络分析这几种。但是由于Y变量都一般为非线性所以基本都用LOGISTIC逻辑回归。后:模型建好后还需要用PSI检验模型客群的稳定性,用KS或者GINI函数检验模型的区分能力。(公式我就不给啦~感兴趣的孩子肯定有自己学习的方式)如果不太理想就再改进,这是一个做循环的闭环式过程直到选到最佳的。(PS:建模工具:SAS,

    由于可以处理相当庞大的数据且在美国极其权威的认证而著称的。别的我就不评价了嘿)

    4,好的信用风控的评估效果一主要从准确性,稳定性,可解释性三个方面来评估模型。其中准确性指标包括感受性曲线下面积(ROC_AUC)和区分度指标(Kolmogorov-Smirnov,KS),稳定性指标主要参考群体稳定指数(Population Shift Index,PSI)。可解释性可通过指标重要度来进行评估,其中指标重要度用于衡量各个解释变量对算法预测结果影响的程度。注意:一定要将大数据建模与业务逻辑紧密联系!

    分割线———————————————————-

    当然,个人觉得知道模型背后的理论也是非常有必要的。让我们顺着逻辑回归来讲。

    首先是假设检验中假设建立。什么是假设检验呢,假设检验背后的原理是什么呢,我们模型中具体的假设是什么呢。

    假设检验分为原假设H和备择假设H0,我们后面会推翻H来证明我们的H0是正确的。

    假设检验的原理也就是我们要推翻的这个H的理由是:小概率事件不可能发生。(在此我举一个经典的例子)

    在模型中我们的假设便是我们逻辑回归的因变量和自变量之间没有线性关系。也就是这里面的beta们都是0。

    二,never say yes.在原假设正确的前提下,确定检验统计数并计算出统计数的估计值(即构造统计量并计算统计量的估计值)

    一般我们会把统计量构造成符合正态分布、卡方分布、F分布的情况,由构造的统计量不同可分为u检验、卡方检验、F检验等。

    这里我们以卡方分布统计量为例子:

    在各种假设情形下,实际频数与理论频数偏离的总和即为卡方值,它近似服从卡方为V的卡方分布,因此可以用卡方分布的理论来进行假设检验。

    三、计算P值,或确定临界值,并比较临界值与统计数值的大小,根据”小概率事件在一次实验中几乎是不可能发生的原理“得出结论统计结果分析

    显著性水平:这里的显著是一个统计学的概念,是指原假设发生是一个小概率事件,统计学上用来确定或否定原假设为小概率事件的概率标准叫做显著性水平。原假设发生的概率如果小于或等于5%,一般认为认为是小概率事件,这也是统计学上达到了”显著“,这时的显著性水平为5%。

    拒绝域:当由样本计算的统计量落入该区域内则拒绝原假设,接受备择假设,拒绝域的边界称为临界值。当原假设正确时,它被拒绝的概率不得超过给定的显著性水平a(阿尔法),阿尔法通常取值为0.05,0.01,因此落在拒绝域内是一个小概率事件。

    还是以卡方检验为例

    以下是卡方分布的密度函数,X轴是卡方值,Y轴是发生的P概率。

    换句简单易懂的话就是,我们计算实际频数与理论频数的偏离程度即卡方值非常大的情况下概率是非常小的是不会发生的,当X2卡方值远远大于3.84,相应的我们X轴远方对应的就是越来越小的P概率。那么也就是说我们的假设是不成立的,也就是说因变量和自变量之间他们是相关的。并且在原假设情况下卡方值越大也就代表越不可能不相关,也就是越可能相关。

    当然在确定检验我们单个系数的时候会用来卡方检验,整个模型的检验的时候就会用到我们F检验,T检验,他们都和我们的卡方有一定的联系。

  8. 匿名用户
    理由
    举报 取消

    风控流程:目标+过程+结果

    风控目标需要考虑到风控目标的数据量,数据类型,数据误判代价,数据的更新频率等。

    风控过程中,

    数据量大的时候可能数据算法或者机器学习方法更合适,但是数据量或者坏样本数据较少的情况下类似判断方法或者权重判断更加优秀。数据类型也影响着算法的选择,不是所有数据都适合市上主流算法,比如过多的名义变量下,lg模型并不是很合适,需要预处理或者选择其它方式。至于误判代价,是犯错成本,犯错成本更大的情况下,有时候算法结果需要规则修正,并不是说从始而终的算法解决。最后频率上考虑上线后的数据及时性,是考虑固定规则还是实时的动态判断。之外,还有很多很多因素。

    风控结果上,考虑到反馈形势,是单纯的0/1还是0-1,需要考虑犯错成本。

    至于算法选择上,行业比较好的算大家都在用的逻辑回归,也比较常见的是gbdt,但是算法是死的,可以考虑不通过的损失判断函数之类的,个人用过的其它比较好的还有:

    SVM 作为史上最强分类器,解决这种小样本复杂问题的利器,综合量化判断模型确实有不少采用SVM的,不过不一定要做直接判断结果,可以做backup-key。

    DNN和CNN在部分情况下效果很不错,大流量,不计较小损失的情况下,效果可以复制。个人感觉,用的场景很苛刻,也不好解释,但是有小场景下单意料之外。

    至于规则修正选择上,很多key-valve的排序方法,或者说一些传统的ahp方法等等,在数据量缺失等前期算是很不错的决策方案。

    其实,个人在敏感部门,只能匿名,个人想法,欢迎讨论,拒绝水表。

  9. Sherrie雪小梨
    理由
    举报 取消

    图片来源:

    上面两张图片都是关于著名的互联网金融公司Zest Finance。

    关于有效性,它的官网是这么写的:

    ZestFinance underwriting models offer a 40% improvement over the current, best-in-class industry score

    也就是比业内风控平均水平高出40%。

  10. 用户头像
    理由
    举报 取消

    第一次用知乎回答问题,回答的不对的地方欢迎指正。

    一、什么是风控,具体指什么?

    很多行业会用到风控这个词汇,像券商、保险、银行甚至制造业,都会设置风控这个岗位,风控的意义是通过各种手段去管理可以预见的风险,保证公司业务的收益。

    本人做的是个人贷款风险建模,对其他行业不是很了解,这里主要讲个贷。个人贷款的风控具体通过反欺诈、信贷策略、审批、贷后管理手段保证贷款本金和利息能够收回。

    二、用到的大数据有哪些,获取渠道?

    目前用来建模的数据包含:

    1、申请表数据(身份信息、收入水平、工作单位、联系人等),这部分是申请贷款时客户自己填写的。

    2、行为数据(消费能力、地理位置、购物偏好等),这部分是通过客户授权采集到的。

    3、信贷历史(信用卡数量、还款历史、房贷信息等),这部分是央行征信查询获得的。

    4、行内数据(存款额、卡数量、用户等级等),这部分是存量客户在某行存款、开卡等记录。

    三、应用案例

    1、欺诈风险用到模型主要是社会关系网络模型,通过每笔案件之间的关系,判断新案件是欺诈申请的可能性。

    2、信用风险主要用到模型是逻辑回归建立评分卡(也有的用决策树),量化新申请人可能违约的概率,根据评分高低制定不同的授信规则和催收策略。

    3、贷后管理也用到行为评分卡,例如额度调整和客户风险分池管理等。

    现在很多金融机构都能够用大数据模型自动做出决策,大数据风控也用到很多场景中,比如租房分期、手机分期、二手车等。前几天本人刚刚通过某知名房产中介的app,贷款租了一套房子,全程无人工审核,两分钟搞定,非常便捷。

    四、评估效果

    模型效果评估指标大同小异,KS值,GINI系数,ROC等都是评价模型区分好坏客户的能力,以目前我国数据质量来看,一般来说KS达到37以上就不错了。再一个是人群稳定性PSI指数,当客户趋于不稳定时,就该重新调整风控策略,或者重建评分卡了。

    五、风控工作的注意点

    每个行业不一样,单以个贷来说,每家公司的优势都不尽相同,目前做消费贷款的公司既有企业,也有网商,还有银行系。这个问题真是不好回答,只能说八仙过海各显神通吧。

我来回答

Captcha 点击图片更换验证码