信也科技再攀科研高峰:复杂网络研究成果登上国际顶级期刊IEEE TKDE
来源:互联网 发表于2020-10-12 19:05:26 编辑:CJX
摘要: 近日,金融科技公司信也科技(NYSE:FINV)与浙江大学合作撰写的论文ldquo;Robust Network Enhancemen...

  近日,金融科技公司信也科技(NYSE:FINV)与浙江大学合作撰写的论文“Robust Network Enhancement from Flawed Networks”被国际顶级期刊IEEE TKDE正式收录。

  IEEE TKDE(Transaction on Knowledge and Data Engineering)是数据挖掘与知识工程领域最具影响力的刊物,也是被中国计算机学会(CCF) 定位为数据库、数据挖掘和内容检索领域的A类国际期刊,属于值得我国学者去突破的顶级刊物。

  据悉,IEEE TKDE主要关注知识发现和数据挖掘、数据库和数据建模、并行分布式数据管理系统、数据密集型可扩展计算系统结构、搜索引擎以及数据工程应用等领域的最新研究进展和技术。该期刊审稿过程专业严谨,在数据挖掘领域享有很高的学术声誉。信也科技与浙大的这篇合作论文被收录,这既是信也科技与高校合作成效的直接体现,也是信也科技始终致力科研斩获的又一硕果。

  着眼复杂网络基础数据缺陷问题

  “网络”或者“图”作为一种重要的数据形态,在很多领域中扮演着越来越重要的角色,如社交网络网络分析、搜索与推荐、生物化学分子结构分析等。而在金融领域,将用户、设备、公司、账户等作为节点,构建网络数据,并在此基础上进行反欺诈的方式也已经带来了实际的商业和社会价值。信也科技作为金融科技领域的领军企业具备较高的科技能力,在业务中已实际利用复杂网络结构,结合机器学习技术,快速、精准识别并锁定不良中介和欺诈团伙,并将相关成果发表于2019年CIKM的oral论文“Understanding Default Behavior in Online Lending” 。

  然而,由于采样不完全、数据不可得、量化标准有误差等等原因,现实中收集到的数据一般带有偏差和噪声。而复杂网络数据由于关注节点之间的关联,更容易受到缺失和噪声的影响,从而波及下游任务,比如不良中介识别、欺诈团队识别等。

  此次由信也科技与浙江大学杨洋副教授团队合作完成的论文“Robust Network Enhancement from Flawed Networks”,便旨在解决上述在复杂网络领域中基础而重要的问题:大规模网络数据中的缺陷检测。这种网络的缺陷,可能是由带缺陷的节点或者带缺陷的边引起的,此次发表的论文专注于解决带缺陷的边引发的问题。期望给整个领域提供一种独特视角出发的有效缺陷边检测算法,提升复杂网络领域算法的噪声鲁棒性,即系统的健壮性。

  首次提出联合学习网络缺失边和噪声边

  据了解,上述带缺陷的边可分为噪声边和缺失边。噪声边,即为真实情况下并不存在的边,比如用通话网络来构建社交状况,可能因为误拨的电话或者一些推销、外卖电话而加上了一些不反映社交状况的边;缺失边,则是真实情况下存在,数据中却并没有观测到的边,比如以用户之间的转账来构建关系网络,一家银行往往只有用户在本行转账的数据,而观察不到本来存在的他行转账数据。

  许多学者已关注到,缺陷边的问题可能引发下游任务的误导性结论,并进行了大量的相关研究。而该篇论文的一个重要贡献是充分考虑了缺失边与噪声边的识别会相互影响(如图1(c)&(d)),提出了E-Net(Enhancement Network model),一个端到端的基于图神经网络的模型,来联合学习噪声边和缺失边。一方面,噪声边被识别出来并去除掉,会有利于缺失边的预测;另一方面,缺失边预测的目标函数可以为噪声边的识别提供间接的监督。由于在很多实际场景中都不容易获取一条边是否是噪声边的标签,这样的半监督学习框架使得模型对噪声具有很强的鲁棒性。

信也科技再攀科研高峰:复杂网络研究成果登上国际顶级期刊IEEE TKDE

图1:在统一框架内识别缺失边和噪声边的示意图

  对于大规模网络,使用整个网络去推断节点之间的关系(比如缺失边、噪声边)会带来无法承受的计算量。另一方面,使用整个网络进行训练,还会导致模型很难外推到新加入的节点和边上,从而影响应用到实际场景。许多学者采用了子图提取来解决这个问题,即针对任意一对关注的节点,仅提取它们周围子图来推断该节点对之间的关系。

  论文的另一个重要贡献就是提出了一种RWR(Random Walk with Restart)子图提取方法(如图1(b))。相较于传统的子图提取方法(如图1(a)),RWR不再抽取固定的一跳或两跳邻居,从而可以(1)抽取的子图规模不随节点邻居数爆炸;(2)既包含局部又包含全局的图结构。

  信也科技AI团队负责人王春平表示:“此算法最强大的优势在于不需事先知道噪声标签,就能通过缺失边的预测来对噪声边进行半监督学习,从而大大提升算法对噪声的鲁棒性。” 论文中工作的有效性已在多个实验中得到了验证。相对于不去噪的模型,对缺失边的预测F1可以提升大约10%,相对于分步识别噪声边和预测缺失边的模型,F1可以提升2%左右。在进行了去噪和缺失填补两方面的网络增强以后,对下游节点分类问题也有很大帮助,F1大概提升4~5%。网络增强已经成为信也科技复杂网络算法挖掘的一个重要环节,并已逐步投入实际业务应用,大大提升了算法的鲁棒性。

网络再攀科研研究成果复杂国际高峰登上科技
投稿邮箱:
相关推荐
消息称华为 Mate 30 系列将推衍生版本:国产化程度更高
消息称华为 Mate 30 系列将推衍生版本:国产化程度更高

10月11日消息 比较靠谱的数码博主 @长安数码君 今日爆料称,本月的华为系列发

科技谈2020-10-11 15:15:35

新式即热饮水机,鸣盏即热茶饮机泡茶饮水二合一,居
新式即热饮水机,鸣盏即热茶饮机泡茶饮水二合一,居

居家生活,我最讲究的就是饮水健康与方便性,特别是我这样需要照顾小孩的家

科技谈2020-10-10 18:12:36

谷歌Pixel 5智能机已在多个市场区域的商店上脱销
谷歌Pixel 5智能机已在多个市场区域的商店上脱销

一周多前正式发布的 Pixel 5 智能机,尚未在全球范围内开启发售,但 Google 已经

科技谈2020-10-10 13:02:06

2020 AIIA人工智能开发者大会开幕:腾讯智能客服再获专
2020 AIIA人工智能开发者大会开幕:腾讯智能客服再获专

9月28mdash;29日,ldquo;2020 AIIA人工智能开发者大会rdquo;在北京举办。本届大会以ld

科技谈2020-10-10 09:48:23

苹果被控窃取血氧监测技术,智能可穿戴设备健康赛道
苹果被控窃取血氧监测技术,智能可穿戴设备健康赛道

疫情过后,人们对于智能可穿戴产品的健康检测功能越来越重视。作为一种辅助

科技谈2020-10-02 11:39:56

红绿灯倒计时实时掌握,百度地图新功能帮司机减少违
红绿灯倒计时实时掌握,百度地图新功能帮司机减少违

红绿灯路口是违章和事故的高发地之一,不少司机都遇到过红绿灯忽然变灯,没

科技谈2020-10-01 14:02:35

十一假期即将到来,美团以花式营销助力江西文旅产业
十一假期即将到来,美团以花式营销助力江西文旅产业

前不久,江西省文化和旅游厅在金秋来临之际隆重推出ldquo;游江西有好礼rdquo

科技谈2020-10-01 13:24:49

苹果 CEO 蒂姆 库克将获得 1.14 亿美元限制性股票,需工
苹果 CEO 蒂姆 库克将获得 1.14 亿美元限制性股票,需工

9月30日消息 外媒 MacRumors 报道,根据提交给美国证券交易委员会的文件显示,苹

科技谈2020-09-30 16:27:05

小度科技获独立融资:估值达200亿 将加速国内上市
小度科技获独立融资:估值达200亿 将加速国内上市

9月30日消息,百度宣布旗下智能生活事业群组业务(以下简称ldquo;小度科技rdqu

科技谈2020-09-30 15:24:02

共建美好的数字人时代——数字人工作委员会成立大会
共建美好的数字人时代——数字人工作委员会成立大会

人工智能从后台智能推算、到语音交流、到智能机器人,表现形式越来越丰富。

科技谈2020-09-30 13:00:29