标签:
由于许多Android用户由于某些原因(视力,身体,年龄)要求他们以不同的方式与手机设备交互。
安卓提供了辅助功能特性和服务来帮助这些用户更容易的操作他们的设备,包括文字转语音(原生不支持中文,国内ROM可能会有,我的测试OPPO自带中文哟!),触觉反馈,手势操作,轨迹球和手柄操作。开发者可以利用这些服务使得程序更好用,也可以创建自己的辅助服务。
随着Android版本的不断升级,Android Accessibility功能也越来越强大,Android 4.0版本以前,系统辅助服务功能比较单一,仅仅能过单向获取窗口元素信息,比如获取输入框用户输入内容。到Android 4.1版本以后(现在主流厂商的版本都在KITKAT4.4),系统辅助服务增加了与窗口元素的双向交互,此时可以通过辅助功能服务操作窗口元素,比如点击按钮等。
由于系统辅助服务能够实时获取您当前操作应用的窗口元素信息,这有可能给你带来隐私信息的泄露风险,比如获取非密码输入框的输入内容等。同时通过辅助功能也可以模拟用户自动化点击应用内元素,也会带来一定的安全风险。
已经有其他同学使用AccessibilityService实现了抢红包~以及自动安装等,大家可以自行百度。
接下来我们将通过AccessibilityService实现点击元素之后语言反馈所点击的内容。
测试辅助抓包应用为【微信】
下载地址
链接:http://pan.baidu.com/s/1pJVyo0z 密码:00i6
<?xml version="1.0" encoding="utf-8"?>
<manifestxmlns:android="http://schemas.android.com/apk/res/android"
package="com.leestar.example.accessibilityservice"
android:versionCode="1"
android:versionName="1.0">
<uses-sdk
android:minSdkVersion="19"
android:targetSdkVersion="21"/>
<application
android:allowBackup="true"
android:icon="@drawable/ic_launcher"
android:label="@string/app_name"
android:theme="@style/AppTheme">
<activity
android:name=".MainActivity"
android:label="@string/app_name">
<intent-filter>
<actionandroid:name="android.intent.action.MAIN"/>
<categoryandroid:name="android.intent.category.LAUNCHER"/>
</intent-filter>
</activity>
<service
android:name=".AccessibilityServiceExample"
android:label="@string/accessibility_service_label"
android:permission="android.permission.BIND_ACCESSIBILITY_SERVICE">
<intent-filter>
<actionandroid:name="android.accessibilityservice.AccessibilityService"/>
</intent-filter>
<meta-data
android:name="android.accessibilityservice"
android:resource="@xml/accessibility_service_config"/>
</service>
</application>
</manifest>
保存路径为<project_dir>/res/xml/accessibility_service_config.xml
<accessibility-servicexmlns:android="http://schemas.android.com/apk/res/android"
android:description="@string/accessibility_service_description"
android:packageNames="com.tencent.mm"
android:accessibilityEventTypes="typeAllMask"
android:accessibilityFlags="flagDefault"
android:accessibilityFeedbackType="feedbackSpoken"
android:notificationTimeout="100"
android:canRetrieveWindowContent="true"
android:settingsActivity="com.example.android.accessibility.ServiceSettingsActivity"
/>
其中
android:packageNames为需要捕获的包名
android:accessibilityEventTypes为需要回调的事件
android:notificationTimeout为事件回调的延迟事件
其他具体含义请查询官方文档~
具体见代码以及注释,里面也实现了语言反馈功能。
package com.leestar.example.accessibilityservice;
import android.accessibilityservice.AccessibilityService;
import android.annotation.TargetApi;
import android.content.Intent;
import android.os.Build;
import android.speech.tts.TextToSpeech;
import android.util.Log;
import android.view.accessibility.AccessibilityEvent;
import android.view.accessibility.AccessibilityNodeInfo;
publicclassAccessibilityServiceExampleextendsAccessibilityService{
privateAccessibilityNodeInfo rootNodeInfo;
privateTextToSpeech tts =null;
privateboolean ttsIsInit =false;
/**
* 可选。系统会在成功连接上你的服务的时候调用这个方法,在这个方法里你可以做一下初始化工作,例如设备的声音震动管理,
* 也可以调用setServiceInfo()进行配置工作。
*/
@Override
protectedvoid onServiceConnected(){
// TODO Auto-generated method stub
super.onServiceConnected();
tts =newTextToSpeech(getApplicationContext(),new android.speech.tts.TextToSpeech.OnInitListener(){
@Override
publicvoid onInit(int status){
if(status ==TextToSpeech.SUCCESS){
ttsIsInit =true;
}
}
});
}
/**
* 可选。在系统将要关闭这个AccessibilityService会被调用。在这个方法中进行一些释放资源的工作。
*/
@Override
publicboolean onUnbind(Intent intent){
// TODO Auto-generated method stub
returnsuper.onUnbind(intent);
}
/**
* 根据XML的android:accessibilityEventTypes来进行事件回调,所有的业务逻辑都要在回调中完成
*/
@TargetApi(Build.VERSION_CODES.KITKAT)
@Override
publicvoid onAccessibilityEvent(AccessibilityEvent event){
rootNodeInfo = event.getSource();
if(rootNodeInfo ==null)
return;
switch(event.getEventType()){
caseAccessibilityEvent.TYPE_VIEW_CLICKED:
// 语音反馈
if(ttsIsInit){
// event.getContentDescription根据触发事件节点来自动查找子树的ContentDescription
//所以你会发现UIAutomatorViewer上的相关节点信息为空,但是event里赋值了。
// event.getText同上
if(event.getContentDescription()!=null){
tts.speak(event.getContentDescription().toString(),TextToSpeech.QUEUE_ADD,null);
}elseif(event.getText()!=null){
tts.speak(event.getText().toString(),TextToSpeech.QUEUE_ADD,null);
}
}
// 获取精确节点信息,可以通过UIAutomatorViewer检索,实现相关模拟操作
//AccessibilityNodeInfo提供了2种自动查找字节点的函数
//rootNodeInfo.findAccessibilityNodeInfosByText
//rootNodeInfo.findAccessibilityNodeInfosByViewId(viewId)
if(rootNodeInfo.getChild(0)!=null
&& rootNodeInfo.getChild(0).getClassName().equals("android.widget.TextView")
&& rootNodeInfo.getChild(0).getText()!=null
&& rootNodeInfo.getChild(0).getText().toString().equals("我")){
// 如果发现按的是【我】,模拟全局返回按钮,即退出微信
performGlobalAction(GLOBAL_ACTION_BACK);
// 模拟点击元素
// if (rootNodeInfo.isClickable()) {
// rootNodeInfo.performAction(AccessibilityNodeInfo.ACTION_CLICK);
// }
}
break;
default:
break;
}
Log.i("leestar",AccessibilityEvent.eventTypeToString(event.getEventType()));
Log.i("leestar", rootNodeInfo.getClassName().toString());
}
/**
* 这个在系统想要中断AccessibilityService返给的响应时会调用。在整个生命周期里会被调用多次。
*/
@Override
publicvoid onInterrupt(){
Log.i("leestar","onInterrupt");
}
}
package com.leestar.example.accessibilityservice;
import java.util.List;
import android.accessibilityservice.AccessibilityServiceInfo;
import android.app.Activity;
import android.content.Context;
import android.content.Intent;
import android.os.Bundle;
import android.provider.Settings;
import android.view.View;
import android.view.WindowManager;
import android.view.accessibility.AccessibilityManager;
import android.widget.Button;
publicclassMainActivityextendsActivity{
privateButton button_switch;
@Override
protectedvoid onCreate(Bundle savedInstanceState){
// TODO Auto-generated method stub
super.onCreate(savedInstanceState);
setContentView(R.layout.activity_main);
button_switch =(Button) findViewById(R.id.button_switch);
}
@Override
protectedvoid onResume(){
super.onResume();
updateServiceStatus();
}
@Override
protectedvoid onDestroy(){
getWindow().clearFlags(WindowManager.LayoutParams.FLAG_KEEP_SCREEN_ON);
super.onDestroy();
}
publicvoid onButtonClick(View view){
startActivity(newIntent(Settings.ACTION_ACCESSIBILITY_SETTINGS));
}
privatevoid updateServiceStatus(){
booleanServiceEnabled=false;
// 循环遍历所有服务,查看是否开启
AccessibilityManager accessibilityManager =(AccessibilityManager) getSystemService(Context.ACCESSIBILITY_SERVICE);
List<AccessibilityServiceInfo> accessibilityServices = accessibilityManager
.getEnabledAccessibilityServiceList(AccessibilityServiceInfo.FEEDBACK_SPOKEN);
for(AccessibilityServiceInfo info : accessibilityServices){
if(info.getId().equals(getPackageName()+"/.AccessibilityServiceExample")){
ServiceEnabled=true;
break;
}
}
if(ServiceEnabled){
button_switch.setText("关闭测试服务");
// Prevent screen from dimming
getWindow().addFlags(WindowManager.LayoutParams.FLAG_KEEP_SCREEN_ON);
}else{
button_switch.setText("开启测试服务");
getWindow().clearFlags(WindowManager.LayoutParams.FLAG_KEEP_SCREEN_ON);
}
}
}
在需要精确元素节点操作检索的时候,就需要用到UiAutomatorViewer工具,一般情况下,Android SDK下会自带这个工具
找到uiautomatorviewer.bat即可,打开之后,点击看起来是这个样子的
我想你应该知道怎么做了,树形结构UI,AccessibilityNodeInfo通过getChild、getParent尽情的识别吧~!
http://www.android-doc.com/guide/topics/ui/accessibility/services.html
Android自动化之AccessibilityService
标签:
原文地址:http://www.cnblogs.com/leestar54/p/5180217.html