1. 产品的架构是数据采集到 kafka,由 flink 读取,送入ES 2. 这个过程中,涉及: kafka分区数,flink并行度,ES 分区数和副本 3. kafka 分区数决定了后面 flink 的并行度,最好是 kafka 的分区数和 flink 的并行度一致 4. 写入 ES 时,需要先 ...
分类:
其他好文 时间:
2020-11-16 14:01:57
阅读次数:
18
Django框架 第一篇 01 Web应用 02 django源码分析之启动wsgi发生了哪些事 第二篇 01 Django之路由层 第三篇 01 Django之视图层 第四篇 01 Django之模板层 第五篇 01 Django之模型层第一篇:单表操作 02 Django之模型层第二篇:多表操作 ...
分类:
其他好文 时间:
2020-11-16 13:47:23
阅读次数:
13
Pytorch如何高效使用GPU深度学习涉及很多向量或多矩阵运算,如矩阵相乘、矩阵相加、矩阵-向量乘法等。深层模型的算法,如BP,Auto-Encoder,CNN等,都可以写成矩阵运算的形式,无须写成循环运算。然而,在单核CPU上执行时,矩阵运算会被展开成循环的形式,本质上还是串行执行。GPU(GraphicProcessUnits,图形处理器)的众核体系结构包含几千个流处理器,可将矩阵运算并行化
分类:
其他好文 时间:
2020-11-16 13:22:51
阅读次数:
9
前言 如何只单独测试django中的某一个py文件呢?或者说如何书写测试脚本? 我们可以在任意一个py文件(应用下的tests或者自己新建一个)中书写以下代码: 前期准备 创建一个电影表 class Movie(models.Model): title = models.CharField(max_ ...
分类:
其他好文 时间:
2020-11-12 13:50:20
阅读次数:
8
线程是操作系统能够进行运算调度的最小单位,包含在进程之中,是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流,一个进程中可以并发多个线程,每条线程并行执行不同的任务。
分类:
编程语言 时间:
2020-11-11 16:21:52
阅读次数:
11
操作系统 进程和线程 基本概念 通信 进程间通信 线程间通信 线程间同步方式 有进程后为什么需要线程 单核机器上写多线程程序是否考虑要加锁? 线程需要保存哪些上下文,SP、PC、EAX这些寄存器是干嘛用的 多进程和多线程的使用场景 并发和并行 Linux虚拟内存空间 程序的内存结构 缺页中断 页表寻 ...
分类:
其他好文 时间:
2020-11-10 11:11:11
阅读次数:
5
前言:对于我们这些MySQL的使用者来说,平时用的最多的就是查询功能。DBA时不时丢过来一些慢查询语句让优化,如果连查询是怎么执行的都不清楚还优化个毛线,所以是时候掌握真正的技术了。
分类:
数据库 时间:
2020-11-08 17:35:14
阅读次数:
23
一、简单查询 select语句: 指定所有字段:select 字段1,字段2,··· from 表名; 使用星号(*)通配符代替所有字段:select * from 表名; (一般情况下最好不使用星号通配符,虽然查询数据多但是效率低) 查询指定字段:select 字段1,字段2,··· from 表 ...
分类:
数据库 时间:
2020-11-08 17:24:13
阅读次数:
40
走向无后端的系统开发实践:CRUD自动化与强约定的REST接口导读:最近业界流行一种serverless的做法,就是将重的后端改成轻的后端或者干脆去掉后端,本文介绍的是袁新宇在高可用架构群分享的一种通过通用CRUD层来生成后端代码以去除传统后端开发的方法。袁新宇,浙江大学计算机博士,读博期间主要研究方向是并行编译和大规模互联网架构。2012年创业,社交APP脸脸的技术合伙人,项目曾拿到俞敏洪的A轮
分类:
其他好文 时间:
2020-11-07 17:07:00
阅读次数:
21
工程师成长之路:工作1-3年工程师如何突破瓶颈期?导读:高可用架构分享及传播在架构领域具有典型意义的文章,包括技术人成长的思考,本文由雷果国向高可用架构投稿,介绍其多年技术成长之路的感悟。雷果国,2014年11月加入nice,负责服务端在线业务,擅长PHP,曾自发翻译过《ExtendingandEmbeddingPHP》一书及PHP官方手册部分模块。喜欢利用所学构建自己的工具链,思考系统和架构设计
分类:
其他好文 时间:
2020-11-07 17:00:06
阅读次数:
23