import requests from lxml import etree import csv headers={ 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ...
分类：
其他好文 时间：
2021-04-12 12:41:35
阅读次数：
0
描述 xxl-job elastic-job（lite） saturn 主要作者 大众点评徐雪里 当当网张亮 唯品会开源，基于elastic-job 特殊环境 mysql5.7+ zookeeper 同elastic-job 特殊功能 策略丰富，支持分片 ，子任务 支持分片，分片策略比xxl-job ...
分类：
其他好文 时间：
2020-12-18 12:27:17
阅读次数：
2
AIOps在美团的探索与实践——故障发现篇以下文章来源于美团技术团队，作者胡原锦冬俊峰等美团技术团队美团技术团队10000+工程师，如何支撑中国领先的生活服务电子商务平台？4.6亿消费者、630万商户、2000多个行业、几千亿交易额背后是哪些技术？这里是美团、大众点评、美团外卖、美团配送、美团优选等技术团队的对外窗口。undefinedAIOps，最初的定义是AlgorithmITOperatio
分类：
其他好文 时间：
2020-11-12 14:27:43
阅读次数：
17
前序 最近在研究反爬虫策略，写了一个大众点评评论采集的程序，途中遇到了一些坑有感而发分享给大家，大众点评是基于css机制实现的字体加密技术来阻碍我的进行准确数据的抓取 正文 图1 根据图1我们可以看出部分文字在源码中是无法得到正常显示的，对应的我们解析也只能得到一些无用的svg标签,且又由于文字本身 ...
分类：
编程语言 时间：
2020-09-04 17:42:55
阅读次数：
70
简介 背景 CAT(Central Application Tracking)是由吴其敏（前大众点评首席架构师，现携程架构负责人）主导设计基于Java开发打造的实时应用监控平台，为大众点评网提供了全面的监控服务和决策支持。AT作为大众点评网基础监控组件，它已经在中间件框架（MVC框架，RPC框架，数 ...
分类：
其他好文 时间：
2020-06-18 10:44:45
阅读次数：
74
【废话多】 前情提要：在解析大众点评详情页的时候，发现重要数据并没有直接显示，而是通过css加载，如下图，文字显示为方块 目前发现两种对应加密方式 1.svg引用 用营业时间举例 这一种对应文本为空，只能通过 class 属性区分，点击检查，可以看到右边属性中有一个 background-image ...
分类：
Web程序 时间：
2020-06-04 19:46:36
阅读次数：
248
大众点评数据爬虫获取教程---【SVG映射版本】前言：大众点评是一款非常受大众喜爱的一个第三方的美食相关的点评网站。从网站内可以推荐吃喝玩乐优惠信息，提供美食餐厅、酒店旅游、电影票、家居装修、美容美发、运动健身等各类生活服务，通过海量真实消费评论的聚合，帮助大家选到服务满意商家。因此，该网站的数据也就非常有价值。优惠，评价数量，好评度等数据也就非常受数据公司的欢迎。接上文，本篇是SVG映射版本希望
分类：
编程语言 时间：
2020-05-07 09:17:21
阅读次数：
82
clear_data.py #!/usr/bin/env python # -*- coding: utf-8 -*- import requests from docx import Document from docx.shared import Inches,Pt from docx.oxml ...
分类：
其他好文 时间：
2020-04-20 17:33:50
阅读次数：
73
前言 在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团?大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学 ...
分类：
其他好文 时间：
2020-01-26 19:02:37
阅读次数：
63
《必然》是来自凯文凯利的书，我看到的是2016年的第一版中译本，从2019年12月28日开始看，到2020年1月4日看完，耗时一周左右，这也是2020年看完的第一本书，而我的计划是今年要阅读50本书，下一本还是凯文凯利的一本老书，《失控》。 一 我还记得若干年前，美团和大众点评合并，滴滴和快的合并， ...
分类：
其他好文 时间：
2020-01-11 11:33:21
阅读次数：
129
