京公网安备 11010802034615号
经营许可证编号:京B2-20210330
作者:小伍哥
来源:小伍哥聊风控
大家好,我是小伍哥。
有效的风险感知或者无监督风险识别,其实非常的难,很多同学甚至无法下手,做了的可能也没有效果,如果找到合适的方法了,其实是非常有意思,且考验想象力的事情,我认为是风控领域的一个明珠,需要扎实且广泛的算法储备、敏锐风险直觉、以及非常丰富的想象力,本文进行初步的探讨,希望对风险感知的同学有一定的启示作用。
当风控做到一定程度,或者平台生态非常复杂的时候,需要对未知风险进行感知,也就是提前发现或者感知到平台里面隐藏的未知风险。多于很多风控人员来说,是个非常大的挑战,本文拿订单场景举例,抛砖引玉。
假如订单包含:订单编号、订单时间、买家、卖家、价格、类目、收货地址、收货手机····
1、基于正态分布异常
要对其中的风险进行感知,大家首先想到的是基于统计的方法
商家成交同比增加1倍
商家成交环比增加80%
买家成交环比增加80%
······
简单的统计特征用完了,就要基于分布异常进行感知了,从全部订单维度,检测正态分布两端的价格,分布异常的视为异常订单
从买家维度,监控3倍标准差以外的订单
从卖家维度,监控3倍标准差以外的订单
从卖家维度,监控5倍标准差以外的订单
······
很多刚入风控的小伙伴,可能就到此为止了
如果要分类别监控,我们可以利用箱线图的方式进行,其实还是上面的分布异常,只不过比较方便可视化和分类别进行监控,比如下面的指标:
根据类目,监控每个类目上分布的价格异常的订单
根据时段(每天24小时),监控每个时段上的价格异常订单
根据收货城市,监控每个城市的价格异常订单
根据收货城市,监控每个用户订单量的分布
······
在时序维度上,波动程度太大的,可能存在异常,所以我们可以构建时序维度上的特征,并利用变异系数进行时序维度的波动监控,然后把波动过大的视为异常
以买家为维度,统计近30天每天的销量,然后计算变异系数,如果变异系数过高,则视为异常
以卖家为维度,统计近30天的销量,然后统计变异系数,如果过高,则认为存在异常
······
时序维度,其实还可以变换下,变成有序的价格段维度,能够发现更多的异常。
以买家为对象,计算每个价格段为维度,计算分布的变异系数,过高,则认为价格分布异常
以卖家为对象,计算每个价格段为维度,计算分布的变异系数,过高,则认为价格分布异常
以类目为对象,计算每个价格段为维度,计算分布的变异系数,过高,则认为价格分布异常
以地区为对象,计算每个价格段为维度,计算分布的变异系数,过高,则认为价格分布异常
部分机器订单,可能下单速度比较异常,一秒钟下几单,并且每天如此,肯定是有问题的
买家维度的速率监控,这个需要涉及一个好的指标,单位时间订单数,或者最大持续密度,最大密度持续订单量等,这个是个很有意思的话题,后续我研究好了告诉大家,欢迎持续关注小伍哥聊风控。
卖家维度的速率监控,最好和大盘速率进行对比
比如上图,我们可以只监控红框的长度和密度,其他两个不监控,把红框内点多的以及密度多的视为异常,为什么要这么做,就担心十分钟内下单100笔,隔了23小时又下了一笔,如果按天平均并不异常,但是某一个十分钟,却是十分异常。
商品关联规则分析,哪些商品一起关联购买,某些商品组合,非常诡异的,不应该出现的,可能是刷单导致的
类目关联规则分析,这个是个特别抽象的,商家的店铺的类目应该很类似的,但是某些商家类目非常诡异的分布,比如女装+扑克,可能就是卖赌博器材的
商家关联团伙分析,通过分析某一时间片段同时出现的商家,判断商家的团伙,对于高频率同时出现的商家,可能存在异常
买家团伙分析,通过时间分段,挖掘哪些买家一起行动,可以找到团伙买家
基于松散同步行为的团伙挖掘,非常抽象,可以看我之前的文章,这个通过订单表,发现大规模的异常关联和团伙关系,是非常重要的无监督感知方法。
对于通过订单表挖掘出来的团伙,再从时间维度,去看团伙的变迁,购买行为的移动,发现极具价值的信息。也是我最近研究的重点,发现了很多有价值的东西。
基于图的异常感知,才是感知的难点和价值点,就比如宇宙中的黑洞,黑洞本身看不见,但是我们可以通过监测引力异常发现黑洞,黑洞越大周围的引力越异常。大规模的复杂网络中,由于异常用户的出现,同样会扭曲网络空间的曲线,我们设置合理的指标,就能感知出异常的'黑洞'
1)主导边异常
再一个商家一个月卖了10000个订单,100个消费者,其中一个消费者买了9900单,那这个消费者占比9000/10000=90%,形成了主导边,那这个商家可能就存在异常。
我们把卖家-买家换下,类目-商家,假如发现某个类目某个商家占比过高,会不会出现类目入侵的问题,如果更高级,我们是不是加入一个时间线,监测长时间某个类目、卖家成交权重的分布变化,那能发现非常多的莫名其妙的异常,非常推荐尝试研究。
2)权重边检测
检测商家与买家的平均订单数量,再与大盘进行比较,比如大盘每个买家对卖家的平均订单是5单,但是某一个商家,平均每个买家买了30单,是不是商家组织一群人在不停的刷单。
3)Near-Star异常检测
在正常的社交网络中,我们通常认为朋友之间可能会相互认识,因此一阶Ego-net中的邻居之间没有任何关联是非常可疑的,近似星型,邻居之间很少联系(如通话关系网络中的中介、电催人员、营销号码,他们大量的联系别人,然而联系人中之间几乎没啥联系),这种结构的Ego-net被称为star,如下图所示,中心节点与大量节点存在关联,但是邻居之间无联系或者联系很少。
这个怎么理解:监控每个商家的消费者,假如这些消费者近一段时间以来,只买了这个商家,没买其他商家,是不是就非常异常,正常一个买家会买好多商家,不会只买一个的
当然,也可以利用无监督算法进行风险感知
买家维度:构建注册时长、订单数、平均价格、类目分布等等指标,用孤立森立、HBOS、KNN等算法进行异常感知,输出异常分数高的买家
订单维度:构建注册时长、订单价格、价格分位数,类目分布等等指标,用孤立森立、HBOS、KNN等算法进行异常感知,输出异常分数高的买家
有没有更多监督的方法?我觉得这个话题还可以更加深入的探讨,我还需要更多的研究才能提供有价值的信息,不过大家可以去研究下。
本福特定理监控商家、类目等维度的价格分布是否异常?
利用面相、星座等识别用户的头像与八字是否冲突?(早年间就有小贷公司根据面相确定贷款额度)
······
在无监督的场景下,我们可以尽情的想象并进行测试,说不定有意外的惊喜,今天就写到这里了。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数字化商业环境中,数据已成为企业优化运营、抢占市场、规避风险的核心资产。但商业数据分析绝非“堆砌数据、生成报表”的简单 ...
2026-01-20定量报告的核心价值是传递数据洞察,但密密麻麻的表格、复杂的计算公式、晦涩的数值罗列,往往让读者望而却步,导致核心信息被淹 ...
2026-01-20在CDA(Certified Data Analyst)数据分析师的工作场景中,“精准分类与回归预测”是高频核心需求——比如预测用户是否流失、判 ...
2026-01-20在建筑工程造价工作中,清单汇总分类是核心环节之一,尤其是针对楼梯、楼梯间这类包含多个分项工程(如混凝土浇筑、钢筋制作、扶 ...
2026-01-19数据清洗是数据分析的“前置必修课”,其核心目标是剔除无效信息、修正错误数据,让原始数据具备准确性、一致性与可用性。在实际 ...
2026-01-19在CDA(Certified Data Analyst)数据分析师的日常工作中,常面临“无标签高维数据难以归类、群体规律模糊”的痛点——比如海量 ...
2026-01-19在数据仓库与数据分析体系中,维度表与事实表是构建结构化数据模型的核心组件,二者如同“骨架”与“血肉”,协同支撑起各类业务 ...
2026-01-16在游戏行业“存量竞争”的当下,玩家留存率直接决定游戏的生命周期与商业价值。一款游戏即便拥有出色的画面与玩法,若无法精准识 ...
2026-01-16为配合CDA考试中心的 2025 版 CDA Level III 认证新大纲落地,CDA 网校正式推出新大纲更新后的第一套官方模拟题。该模拟题严格遵 ...
2026-01-16在数据驱动决策的时代,数据分析已成为企业运营、产品优化、业务增长的核心工具。但实际工作中,很多数据分析项目看似流程完整, ...
2026-01-15在CDA(Certified Data Analyst)数据分析师的日常工作中,“高维数据处理”是高频痛点——比如用户画像包含“浏览次数、停留时 ...
2026-01-15在教育测量与评价领域,百分制考试成绩的分布规律是评估教学效果、优化命题设计的核心依据,而正态分布则是其中最具代表性的分布 ...
2026-01-15在用户从“接触产品”到“完成核心目标”的全链路中,流失是必然存在的——电商用户可能“浏览商品却未下单”,APP新用户可能“ ...
2026-01-14在产品增长的核心指标体系中,次日留存率是当之无愧的“入门级关键指标”——它直接反映用户对产品的首次体验反馈,是判断产品是 ...
2026-01-14在CDA(Certified Data Analyst)数据分析师的业务实操中,“分类预测”是高频核心需求——比如“预测用户是否会购买商品”“判 ...
2026-01-14在数字化时代,用户的每一次操作——无论是电商平台的“浏览-加购-下单”、APP的“登录-点击-留存”,还是金融产品的“注册-实名 ...
2026-01-13在数据驱动决策的时代,“数据质量决定分析价值”已成为行业共识。数据库、日志系统、第三方平台等渠道采集的原始数据,往往存在 ...
2026-01-13在CDA(Certified Data Analyst)数据分析师的核心能力体系中,“通过数据建立模型、实现预测与归因”是进阶关键——比如“预测 ...
2026-01-13在企业数字化转型过程中,业务模型与数据模型是两大核心支撑体系:业务模型承载“业务应该如何运转”的逻辑,数据模型解决“数据 ...
2026-01-12当前手游市场进入存量竞争时代,“拉新难、留存更难”成为行业普遍痛点。对于手游产品而言,用户留存率不仅直接决定产品的生命周 ...
2026-01-12