SparkSQL在机器学习场景中应用第四范式已经在很多行业落地了上万个AI应用，比如在金融行业的反欺诈，媒体行业的新闻推荐，能源行业管道检测，而SparkSQL在这些AI应用中快速实现特征变换发挥着重要的作用SparkSQL在特征变换主要有一下几类1.多表场景，用于表之间拼接操作，比如交易信息表去拼接账户表2.使用udf进行简单的特征变换，比如对时间戳进行hour函数处理3.使用时间窗口和udaf
分类：
数据库 时间：
2020-07-09 17:54:20
阅读次数：
99
原文链接http://tecdat.cn/?p=14033 神经网络是一种非常通用的灵活预测模型，可用于解决各种问题，包括分类，降维和回归。 现实世界中的一些业务应用示例包括图像处理，医疗诊断，金融服务和欺诈检测。此样本说明如何使用SAS®In-Memory Statistics中的NEURAL语句 ...
分类：
其他好文 时间：
2020-07-08 14:59:00
阅读次数：
79
文件读取 import pandas as pd import matplotlib.pyplot as plt import numpy as np %matplotlib inline #由于数据太多，只读取前1000行 data = pd.read_csv("creditcard.csv",n ...
分类：
其他好文 时间：
2020-07-04 20:32:07
阅读次数：
98
业务安全1.0：策略 策略防护是业务安全1.0时代的特点，目前依旧被大部分企业采用。主要是基于业务规则、名单规则、行为规则等策略。 所谓业务规则，即业务设定的规则和条件，例如注册48小时才可以享受服务、新用户才能够享受优惠等等；名单规则即业务参与者的名单信息，包含风险IP、恶意手机号、欺诈者名单、逾 ...
分类：
其他好文 时间：
2020-06-26 10:48:34
阅读次数：
124
package spendreport; import org.apache.flink.api.common.state.ValueState; import org.apache.flink.api.common.state.ValueStateDescriptor; import org.ap ...
分类：
Web程序 时间：
2020-06-25 13:37:20
阅读次数：
162
根据IBM的统计报告显示，过去两年内，当今世界上90%的数据产生源于新设备、传感器以及技术的出现，数据增长率也会为此加速。而从技术上将，这意味着大数据领域，处理这些数据将变得更加复杂和具有挑战性。例如移动应用广告、欺诈检测、出租车预订、患者监控等场景处理时，需要对实时数据进行实时处理，以便做出快速可行的决策。目前业界有开源不少实时计算引擎，以Apache基金会的两款开源实时计算引擎最受欢迎，它们分
分类：
其他好文 时间：
2020-06-20 09:12:52
阅读次数：
230
1. Gradient Checking 你被要求搭建一个Deep Learning model来检测欺诈，每当有人付款，你想知道是否该支付可能是欺诈，例如该用户的账户可能已经被黑客掉。 但是，反向传播实现起来非常有挑战，并且有时有一些bug，因为这是一个mission-critical应用，你公司 ...
分类：
其他好文 时间：
2020-06-10 12:52:53
阅读次数：
60
之前补交连接有实验六：https://www.cnblogs.com/hhj20174315/p/12821276.html，这次为实验7补交 一、实验概述 1.1 实验目标 理解常用网络欺诈背后的原理，以提高防范意识，并提出具体防范方法。 1.2 实验内容 简单应用SET工具建立冒名网站；ette ...
分类：
其他好文 时间：
2020-05-30 01:10:42
阅读次数：
89
一、实践目标 1.1 实验对象 linux kali 1.2 实践内容 Web前端: HTML Web前端: Javascipt Web后端: MySQL基础 Web后端: 编写PHP网页 SQL注入: XSS攻击测试 二、基础知识 2.1 实践要求 Web前端: HTML 能正常安装、启停Apac ...
分类：
其他好文 时间：
2020-05-24 19:22:08
阅读次数：
63
实践内容（3.5分） 本实践的目标理解常用网络欺诈背后的原理，以提高防范意识，并提出具体防范方法。具体实践有 （1）简单应用SET工具建立冒名网站 （1分） （2）ettercap DNS spoof （1分） （3）结合应用两种技术，用DNS spoof引导特定访问到冒名网站。（1.5分） 基础问 ...
分类：
其他好文 时间：
2020-05-17 13:26:50
阅读次数：
94
