标签:camera 相关 sources action oal root etc moni _id
my.properties
jdbc.driver=com.mysql.jdbc.Driver jdbc.datasource.size=10 jdbc.url=jdbc:mysql://node2:3306/traffic?useUnicode=true&characterEncoding=UTF-8 jdbc.user=root jdbc.password=123456 jdbc.url.prod=jdbc:mysql://node2:3306/traffic?useUnicode=true&characterEncoding=UTF-8 jdbc.user.prod=root jdbc.password.prod=123456 spark.local=false spark.local.taskId.monitorFlow=1 spark.local.taskId.extractCar=2 spark.local.taskId.withTheCar=3 spark.local.taskid.tpn.road.flow=4 spark.local.taskid.road.one.step.convert=5 kafka.metadata.broker.list=node1:9092,node2:9092,node3:9092 kafka.topics=RoadRealTimeLog
constant常量池
com.bjsxt.spark.constant.Constants
package com.bjsxt.spark.constant; /** * 常量接口 * * 接口中声明的成员变量默认都是 public static final 的,必须显示的初始化。因而在常量声明时可以省略这些修饰符。 * @author Administrator * */ public interface Constants { /** * 项目配置相关的常量 */ public static final String JDBC_DRIVER = "jdbc.driver"; String JDBC_DATASOURCE_SIZE = "jdbc.datasource.size"; String JDBC_URL = "jdbc.url"; String JDBC_USER = "jdbc.user"; String JDBC_PASSWORD = "jdbc.password"; String JDBC_URL_PROD = "jdbc.url.prod"; String JDBC_USER_PROD = "jdbc.user.prod"; String JDBC_PASSWORD_PROD = "jdbc.password.prod"; String SPARK_LOCAL = "spark.local"; String SPARK_LOCAL_TASKID_MONITOR = "spark.local.taskId.monitorFlow"; String SPARK_LOCAL_TASKID_EXTRACT_CAR= "spark.local.taskId.extractCar"; String SPARK_LOCAL_WITH_THE_CAR = "spark.local.taskId.withTheCar"; String SPARK_LOCAL_TASKID_TOPN_MONITOR_FLOW = "spark.local.taskid.tpn.road.flow"; String SPARK_LOCAL_TASKID_MONITOR_ONE_STEP_CONVERT = "spark.local.taskid.road.one.step.convert"; String KAFKA_METADATA_BROKER_LIST = "kafka.metadata.broker.list"; String KAFKA_TOPICS = "kafka.topics"; /** * Spark作业相关的常量 */ String SPARK_APP_NAME = "MonitorFlowAnalyze"; String FIELD_CAMERA_COUNT = "cameraCount"; String FIELD_CAMERA_IDS = "cameraIds"; String FIELD_CAR_COUNT = "carCount"; String FIELD_NORMAL_MONITOR_COUNT = "normalMonitorCount"; String FIELD_NORMAL_CAMERA_COUNT = "normalCameraCount"; String FIELD_ABNORMAL_MONITOR_COUNT = "abnormalMonitorCount"; String FIELD_ABNORMAL_CAMERA_COUNT = "abnormalCameraCount"; String FIELD_ABNORMAL_MONITOR_CAMERA_INFOS = "abnormalMonitorCameraInfos"; String FIELD_TOP_NUM = "topNum"; String FIELD_DATE_HOUR="dateHour"; String FIELD_CAR_TRACK="carTrack"; String FIELD_DATE="dateHour"; String FIELD_CAR="car"; String FIELD_CARS="cars"; String FIELD_MONITOR="monitor"; String FIELD_MONITOR_ID="monitorId"; String FIELD_ACTION_TIME="actionTime"; String FIELD_EXTRACT_NUM = "extractNum"; //低速行驶 String FIELD_SPEED_0_60 = "0_60"; //正常行驶 String FIELD_SPEED_60_90 = "60_90"; //中速行驶 String FIELD_SPEED_90_120 = "90_120"; //高速行驶 String FIELD_SPEED_120_MAX = "120_max"; String FIELD_AREA_ID = "areaId"; String FIELD_AREA_NAME = "areaName"; /** * 任务相关的常量 */ String PARAM_START_DATE = "startDate"; String PARAM_END_DATE = "endDate"; String PARAM_MONITOR_FLOW = "roadFlow"; }
com.bjsxt.spark.conf.ConfigurationManager
package com.bjsxt.spark.conf; import java.io.InputStream; import java.util.Properties; /** * 配置管理组件 * * 1、配置管理组件可以复杂,也可以很简单,对于简单的配置管理组件来说,只要开发一个类,可以在第一次访问它的 * 时候,就从对应的properties文件中,读取配置项,并提供外界获取某个配置key对应的value的方法 * 2、如果是特别复杂的配置管理组件,那么可能需要使用一些软件设计中的设计模式,比如单例模式、解释器模式 * 可能需要管理多个不同的properties,甚至是xml类型的配置文件 * 我们这里的话,就是开发一个简单的配置管理组件,就可以了 * * @author Administrator * */ public class ConfigurationManager { /** * Properties对象使用private来修饰,就代表了其是类私有的 * 那么外界的代码,就不能直接通过ConfigurationManager.prop这种方式获取到Properties对象 * 之所以这么做,是为了避免外界的代码不小心错误的更新了Properties中某个key对应的value * 从而导致整个程序的状态错误,乃至崩溃 */ private static Properties prop = new Properties(); /** * 静态代码块 * * Java中,每一个类第一次使用的时候,就会被Java虚拟机(JVM)中的类加载器,去从磁盘上的.class文件中 * 加载出来,然后为每个类都会构建一个Class对象,就代表了这个类 * * 每个类在第一次加载的时候,都会进行自身的初始化,那么类初始化的时候,会执行哪些操作的呢? * 就由每个类内部的static {}构成的静态代码块决定,我们自己可以在类中开发静态代码块 * 类第一次使用的时候,就会加载,加载的时候,就会初始化类,初始化类的时候就会执行类的静态代码块 * * 因此,对于我们的配置管理组件,就在静态代码块中,编写读取配置文件的代码 * 这样的话,第一次外界代码调用这个ConfigurationManager类的静态方法的时候,就会加载配置文件中的数据 * * 而且,放在静态代码块中,还有一个好处,就是类的初始化在整个JVM生命周期内,有且仅有一次,也就是说 * 配置文件只会加载一次,然后以后就是重复使用,效率比较高;不用反复加载多次 */ static { try { // 通过一个“类名.class”的方式,就可以获取到这个类在JVM中对应的Class对象 // 然后再通过这个Class对象的getClassLoader()方法,就可以获取到当初加载这个类的JVM // 中的类加载器(ClassLoader),然后调用ClassLoader的getResourceAsStream()这个方法 // 就可以用类加载器,去加载类加载路径中的指定的文件 // 最终可以获取到一个,针对指定文件的输入流(InputStream) InputStream in = ConfigurationManager.class .getClassLoader().getResourceAsStream("my.properties"); // 调用Properties的load()方法,给它传入一个文件的InputStream输入流 // 即可将文件中的符合“key=value”格式的配置项,都加载到Properties对象中 // 加载过后,此时,Properties对象中就有了配置文件中所有的key-value对了 // 然后外界其实就可以通过Properties对象获取指定key对应的value prop.load(in); } catch (Exception e) { e.printStackTrace(); } } /** * 获取指定key对应的value * * 第一次外界代码,调用ConfigurationManager类的getProperty静态方法时,JVM内部会发现 * ConfigurationManager类还不在JVM的内存中 * * 此时JVM,就会使用自己的ClassLoader(类加载器),去对应的类所在的磁盘文件(.class文件)中 * 去加载ConfigurationManager类,到JVM内存中来,并根据类内部的信息,去创建一个Class对象 * Class对象中,就包含了类的元信息,包括类有哪些field(Properties prop);有哪些方法(getProperty) * * 加载ConfigurationManager类的时候,还会初始化这个类,那么此时就执行类的static静态代码块 * 此时咱们自己编写的静态代码块中的代码,就会加载my.properites文件的内容,到Properties对象中来 * * 下一次外界代码,再调用ConfigurationManager的getProperty()方法时,就不会再次加载类,不会再次初始化 * 类,和执行静态代码块了,所以也印证了,我们上面所说的,类只会加载一次,配置文件也仅仅会加载一次 * * @param key * @return value */ public static String getProperty(String key) { return prop.getProperty(key); } /** * 获取整数类型的配置项 * @param key * @return value */ public static Integer getInteger(String key) { String value = getProperty(key); try { return Integer.valueOf(value); } catch (Exception e) { e.printStackTrace(); } return 0; } /** * 获取布尔类型的配置项 * @param key * @return value */ public static Boolean getBoolean(String key) { String value = getProperty(key); try { return Boolean.valueOf(value); } catch (Exception e) { e.printStackTrace(); } return false; } /** * 获取Long类型的配置项 * @param key * @return */ public static Long getLong(String key) { String value = getProperty(key); try { return Long.valueOf(value); } catch (Exception e) { e.printStackTrace(); } return 0L; } }
pom.xml
<build>
<!--过滤resource下的文件-->
<resources>
<resource>
<directory>src/main/resources</directory>
<includes>
<include>*.properties</include> <!--打包properties文件-->
</includes>
<excludes>
<exclude>*.xml</exclude> <!--过滤xml与yaml文件-->
<exclude>*.yaml</exclude>
</excludes>
</resource>
</resources>
<plugins>
<!-- maven 打包插件-->
<plugin>
<artifactId>maven-assembly-plugin</artifactId>
<configuration>
<descriptorRefs>
<descriptorRef>jar-with-dependencies</descriptorRef>
</descriptorRefs>
<archive>
<manifest>
<mainClass>com.producedate2hive.Data2Hive</mainClass>
</manifest>
</archive>
</configuration>
<executions>
<execution>
<id>make-assembly</id>
<phase>package</phase>
<goals>
<goal>single</goal>
</goals>
</execution>
</executions>
</plugin>
</plugins>
</build>
调用
Boolean onLocal = ConfigurationManager.getBoolean(Constants.SPARK_LOCAL); if(onLocal){
标签:camera 相关 sources action oal root etc moni _id
原文地址:https://www.cnblogs.com/guoyu1/p/13171921.html