想在本机测试一下,spark read write to s3 cloud storeage. minio是一个不错的选择，轻量，兼容aws s3协议。 可以使用docker来做。 #拉取镜像 docker pull minio/minio#启动容器docker run -p 9000:9000 - ...
分类：
其他好文 时间：
2020-01-05 16:01:59
阅读次数：
117
一、aws iam token 的生成 1.1 token 生成 我们这里使用的 AWS 完全管理的 K8s 集群 EKS，并且通过如下命令创建了 iamserviceaccount "[1]" 。 关于 IRSA 的一个架构图大致如下： 在由 API Server 创建一个 pod 后，由 Sel ...
分类：
其他好文 时间：
2020-01-02 18:26:44
阅读次数：
98
十轮面试，拿下AWS Senior资深工程师职位，想知道我是怎么做的么？
分类：
其他好文 时间：
2020-01-02 09:28:34
阅读次数：
119
本文来自 dockone 编辑:yan 微服务只是最近提出的概念，实际上很多巨头公司(FB、Twitter、AWS等)已经在亲身实践。微服务并不是银弹，但是我们可以参考它的思想来解决自己遇到的问题。对于已经找准市场，业务即将或者马上就要急剧发展的创业公司，适合使用基于微服务的软件架构。 今天阅读了两 ...
分类：
其他好文 时间：
2019-12-30 09:39:52
阅读次数：
77
一、创建表 1 var AWS = require("aws-sdk"); 2 AWS.config.update({ 3 region: "us-west-2", //使用哪个区域的aws服务 4 endpoint: "http://localhost:8000" //dynamodb位置 5 } ...
分类：
数据库 时间：
2019-12-29 13:18:59
阅读次数：
99
一、EC2针对EC2上面的应用程序，不要分配UserCredentials，使用IAMRoleAttachment。可以访问EC2的meatdata查看赋予的Role权限curlhttp://169.254.169.254/latest/meta-data/iam/security-credentials/二、Softwareonlocallaptop针对在自己电脑上面开发测试的用户，用户需要S3
分类：
其他好文 时间：
2019-12-27 22:02:24
阅读次数：
723
用过aws的人，都知道s3存储东西贼方便。 他的上传有两个方法, 第一个是get_object(),是将文件的内容赋值给body,进行上传，并设置存储桶为上传文件为公开 response = s3.put_object(Bucket=bucket_tmp, Key=file_key, Body=co ...
分类：
其他好文 时间：
2019-12-26 16:23:56
阅读次数：
139
Faas https://www.cnblogs.com/Javame/p/10212288.html FaaS，Lambda https://blog.csdn.net/wlhdo71920145/article/details/80388209 https://blog.csdn.net/wei ...
分类：
其他好文 时间：
2019-12-26 11:31:15
阅读次数：
83
内部类 在Java中，可以将一个类定义在另一个类里面或者一个方法里面，这样的类称为内部类。广泛意义上的内部类一般来说包括这四种：成员内部类、局部内部类、匿名内部类和静态内部类。下面就先来了解一下这四种内部类的用法。 成员内部类： (1) 类中套类，外面的称为Outer外部类，里面的称为Inner内部 ...
分类：
编程语言 时间：
2019-12-23 22:44:11
阅读次数：
110
一、亚马逊的架构规定 最早实践分布式服务化架构思想的公司应该是亚马逊，它早在 2002 年就颁布了下列架构规定，这应该就是 AWS（Amazon Web Service）出现的基础： 1. 所有团队的程序模块都要通过 Service Interface 方式将其数据与功能开放出来。 2. 团队间程序 ...
分类：
其他好文 时间：
2019-12-21 22:59:55
阅读次数：
100
