最近学习量化，有朋友推荐天勤量化，就过来学习下。 TqSdk 是一个由 信易科技 发起并贡献主要代码的开源 python 库. 依托 快期多年积累成熟的交易及行情服务器体系 , TqSdk 支持用户使用很少的代码量构建各种类型的量化交易策略程序, 并提供包含 历史数据-实时数据-开发调试-策略回测- ...
分类：
其他好文 时间：
2021-07-05 16:38:50
阅读次数：
0
sersync 介绍 sersync类似于inotify，同样用于监控，但它克服了inotify的缺点. inotify最大的不足是会产生重复事件，或者同一个目录下多个文件的操作会产生多个事件，例如，当监 控目录中有5个文件时，删除目录时会产生6个监控事件，从而导致重复调用rsync命令。另外比如： ...
分类：
其他好文 时间：
2021-06-07 20:04:48
阅读次数：
0
时至今日，推荐系统已经成为许多产品的核心功能。一个好的推荐系统应该拥有的特质： 1.实时响应请求 2.及时、准确，全面记录用户反馈 3.可以优雅降级 4.快速试验多种策略 针对数据的使用时间进行划分，可分为三部分： 1.离线：使用历史数据，提供历史数据的推理 2.近线：使用实时数据，可提供实时数据的 ...
分类：
Web程序 时间：
2021-05-24 06:10:56
阅读次数：
0
实时数据 →文件系统（Linux文件系统、HDFS等） →Hive 导入到hive，Load。（转成相应的hive表，导入后可直接使用HiveSQL查询） hive的内容分两部分：元数据、数据。 其中数据是存在HDFS中，元数据存在mysql中。 Hive数据仓库 Hive/mysql/HDFS关系 ...
分类：
其他好文 时间：
2021-04-26 13:27:01
阅读次数：
0
1、为什么要引入Yarn和Spark。 (1)现有的hadoop生态系统中存在的问题 1）使用mapreduce进行批量离线分析； 2）使用hive进行历史数据的分析； 3）使用hbase进行实时数据的查询； 4）使用storm进行实时的流处理； (2)选用spark的原因 1） 应用于流式计算的S ...
分类：
其他好文 时间：
2021-03-16 13:32:12
阅读次数：
0
查壳。。。什么都没开 看ida s开的208，fgets却是512，明显用%p泄露格式化字符串地址的偏移，然后覆盖key就行 偏移为12 但是覆盖key的时候容易发现，key要求的的数为35795746,转换为十六进制是0x2223322，单纯用%index$n是不行的，要将key要求的数转换成十六 ...
分类：
其他好文 时间：
2021-02-27 13:34:08
阅读次数：
0
1、简介 无意中发现了个开源项目，推荐给大家。 韭菜盒子——VSCode 里也可以看股票 & 基金实时数据，做最好用的投资插件。 开源地址： https://github.com/LeekHub/leek-fund 投资其实就是一次心态修炼，稳住心态长期投资都会有收益的！！ 2、功能特性 本插件具有 ...
分类：
其他好文 时间：
2021-02-26 13:29:58
阅读次数：
0
电子口岸抓取实时始数据流程 流程一： 电子口岸调用电商企业接口，通知其上传实时数据，接口参数含有订单ID和SessionID 电商企业响应请求，返回码为1000，告知电子口岸可以上传数据 流程二： 电商企业根据流程一的订单ID和SessionID生成上报数据 将数据通过websocket发送给uke ...
实时数据分页去重问题 hyupeng1006 2018-11-01 15:01:05 3209 收藏 分类专栏： 小程序 1. 问题描述将分页、降序数据用瀑布流展示的时候，因为数据总量是不断变化的，导致之前第一页的数据可能变成第二页，第三页，这样客户查看的时候可能出现重复数据展示。（最新的数据会插到 ...
分类：
其他好文 时间：
2020-12-11 11:47:21
阅读次数：
9
部分内容直接摘抄阿里官网作为背景和概述：背景在实时数据业务场景中，最常见的链路是将实时采集的数据，通过实时计算初步清洗，实时写入数据至数据库，再对接BI工具实现数据的可视化分析。数据处理流程如下图所示。整个业务链路中，要求数据库提供高性能的计算服务，存储海量数据，同时对接多种BI分析工具。单一的数据库很难实现以上所有功能，您必须借助其他数据库的相关能力完成业务流程。在导入导出数据时会产生冗余存储，
分类：
其他好文 时间：
2020-10-05 22:00:02
阅读次数：
31
