我自己做了一个网站，这个网站会使用一个python脚本来生成。 具体生成的方法是python脚本会读取目录下的csv文件，将每一行数据解析成固定格式，然后生成html文件，最后需要将修改后的文件自动push到github 当然上面所有的步骤都是自动化实现的，总结如下： 1. 我本地修改csv文件，然 ...
分类：
编程语言 时间：
2019-12-24 14:10:39
阅读次数：
254
最近一直有用到解析各种数据，主要是用FastJson进行数据解析，其中一个重要的类为JSONObject，今天有时间，所以进行总结一下： JSONobject是FastJson提供的对象，在api中是用一个私有的常量map进行封装的，实际就是一个map，只不过FastJson对其进行了封装， 添加了 ...
分类：
Web程序 时间：
2019-12-24 13:37:03
阅读次数：
98
xpath解析是我们在爬虫中最常用也是最通用的一种数据解析方式。 环境安装 pip install lxml 解析原理 使用通用爬虫爬取网页数据 实例化etree对象，且将页面数据加载到该对象中 使用xpath函数结合xpath表达式进行标签定位和指定数据提取 实例化etree对象 - 1.将本地的 ...
分类：
其他好文 时间：
2019-12-17 14:44:18
阅读次数：
108
Hive中的文件格式 1-TEXTFILE 文本格式，Hive的默认格式，数据不压缩，磁盘开销大、数据解析开销大。 对应的hive API为：org.apache.hadoop.mapred.TextInputFormat和org.apache.hive.ql.io.HiveIgnoreKeyTex ...
分类：
其他好文 时间：
2019-12-14 15:24:37
阅读次数：
160
JSON数据解析的有点在于他的体积小，在网络上传输的时候可以更省流量，所以使用越来越广泛，下面介绍使用JsonObject和JsonArray的两种方式解析Json数据。 使用以上两种方式解析json均需要依赖json-lib.jar开发包使用依赖包 1、JsonObject 使用JsonObjec ...
分类：
Web程序 时间：
2019-12-14 12:23:03
阅读次数：
95
一、<!--?xml version="1.0" encoding="UTF-8"?--> MySQL是客户端／服务器架构1）macOS操作系统上的默认安装目录：/usr/local/mysql/ 如果我们觉得每次执行一个文件都要输入一串长长的路径名太麻烦的话，可以把该bin目录所在的路径添加到环境 ...
分类：
数据库 时间：
2019-12-12 00:59:19
阅读次数：
118
CrawlSpider：Spider的一个子类 实现全站数据爬取 实现流程：在终端中执行 链接提取器 可以根据指定的规则（allow=正则）进行链接的提取 Rule规则解析器 将链接提取器提取到的链接进行请求发送，然后根据指定的规则（callback）进行数据解析 follow=True：将链接提取 ...
分类：
其他好文 时间：
2019-12-11 09:39:34
阅读次数：
143
1、适用于xlsx 和 xls <!--xlsx和xls文件pom依赖--> <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi-ooxml</artifactId> <version>3.17</version> </dep ...
分类：
编程语言 时间：
2019-12-10 11:43:00
阅读次数：
130
一、字符串流 定义：字符串流（StringReader），以一个字符为数据源，来构造一个字符流。 作用：在Web开发中，我们经常要从服务器上获取数据，数据返回的格式通常一个字符串（XML、JSON），我们需要把这个字符串构造为一个字符流。然后再用第三方数据解析器来解析数据。 代码示例：计算一个字符串 ...
分类：
编程语言 时间：
2019-12-09 00:56:17
阅读次数：
172
如何将revit文件进行数据导出和数据转换，是非常重要的问题，是解决我们如何将revit的数据解析为我们自己的数据，在revit的二次开发中，给我们提供IExportContext接口。当前接口可用户模型轻量化导出、自定义格式导出等。 当前接口在数据导出中，执行如下的顺序： 通过以上的导出，可以将r ...
分类：
其他好文 时间：
2019-12-08 15:47:29
阅读次数：
271
