一、为什么要反爬虫1、爬虫占总PV比例较高，这样浪费钱（尤其是三月份爬虫）。三月份爬虫是个什么概念呢？每年的三月份我们会迎接一次爬虫高峰期。最初我们百思不得其解。直到有一次，四月份的时候，我们删除了一个url，然后有个爬虫不断的爬取url，导致大量报错，测试开始找我们麻烦。我们只好特意为这个爬虫发布... ...
分类：
其他好文 时间：
2018-07-10 11:11:37
阅读次数：
209
ELK是什么??Sina、饿了么、携程、华为、美团、freewheel、畅捷通、新浪微博、大讲台、魅族、IBM......这些公司都在使用ELK!ELK!ELK!?ELK竟然重复了三遍,是个什么鬼?ELK其实并不是一款软件,而是一整套解决方案,是三个软件产品的首字母缩写–Elasticsearch:负责日志检索和储存–Logstash:负责日志的收集和分析、处理–Kibana:负责日志的可视化–这
分类：
其他好文 时间：
2018-07-04 15:12:37
阅读次数：
226
spark 例子groupByKey分组计算2 例子描述： 大概意思为，统计用户使用app的次数排名 原始数据： 000041b232,张三,FC:1A:11:5C:58:34,F8:E7:1E:1E:62:20,15097003,,2016/6/8 17:10,2016/6/8 17:10,690 ...
分类：
其他好文 时间：
2018-06-14 11:27:56
阅读次数：
220
文件压缩解压 gzip: 作用：压缩文件 之恩能够是单个文件 不能是多个 也不能是目录 格式：gzip file 说明：执行命令会生成file.gz 删除原来的file gunzip: 作用：解压使用gzip压缩生成的文件 格式: gunzip file.gz 说明：解压file.gz文件 生成fi ...
分类：
其他好文 时间：
2018-06-13 15:01:04
阅读次数：
211
Apollo（阿波罗）是携程框架部门研发的分布式配置中心，能够集中化管理应用不同环境、不同集群的配置，配置修改后能够实时推送到应用端，并且具备规范的权限、流程治理等特性，适用于微服务配置管理场景。github地址为：https://github.com/ctripcorp/apollo该项目提供了两种部署方式：本地部署和分布式部署。生产环境建议使用“分布式部署”。因最近项目有使用配置中心的需求，在
分类：
其他好文 时间：
2018-06-11 11:55:56
阅读次数：
1266
cp from : https://blog.csdn.net/ivan820819/article/details/78885404 国内 腾讯 ISUX 腾讯全端 AlloyTeam 奇舞周刊 阿里巴巴 -U 一点 淘宝前端团队 (FED) 网易 FEG 前端团队 网易用户体验中心 码农周刊 凹 ...
分类：
Web程序 时间：
2018-06-11 02:16:53
阅读次数：
272
微软底下也确实出现不了什么大企业。 细细想来，好像所有的大型互联网企业用的都不是微软的技术，JD换到Java了，携程很久以前就换过去了，国内的BAT，国外的FLAAG，没有一个是用微软的技术的， 为什么？ 因为大型企业必然有自己独特的需求，而这些需求往往不是普通的软件能满足的，很多企业连MySQL都 ...
分类：
其他好文 时间：
2018-06-08 00:57:33
阅读次数：
177
携程计算机技术（上海）有限公司于1999年6月在上海成立。2000年10月，携程并购了当时国内较早的酒店分销商——北京现代运通商务旅游服务有限公司。2002年1月，携程再次并购了华北的机票代理公司北京海岸公司，并将机票预订业务整合到上海统一处理，成为除民航系统外全国最大的机票中央预订系统。2004年 ...
分类：
其他好文 时间：
2018-05-25 21:26:24
阅读次数：
238
做开发这么多年，经常因配置的问题引发生产环境的bug。有些年久的项目，几百个密密麻麻的配置项，经常容易搞混，有时好几个项目有好多同样的配置项，配置工作也不厌其烦。所幸，携程开源了新一代配置中心 - Apollo项目，最近在项目中使用了一段时间，感觉确实方便不少。 首先本地搭建Apollo，请参照官网 ...
分类：
Web程序 时间：
2018-05-23 17:03:25
阅读次数：
687
本文来自携程技术中心基础业务研发部的《应用架构涅槃》系列分享。据基础业务研发部负责人李小林介绍，互联网二次革命的移动互联网时代，如何吸引用户、留住用户并深入挖掘用户价值，在激烈的竞争中脱颖而出，是各大电商的重要课题。通过各类大数据对用户进行研究，以数据驱动产品是解决这个课题的主要手段，携程的大数据团 ...
分类：
其他好文 时间：
2018-05-21 14:45:23
阅读次数：
187
