前言
谷歌提供了一种用于与app自动交互的手动无障碍服务，只要像正常的Android Service一样写一个继承AccessibilityService的类即可创建一个无障碍服务。当app有操作时系统就会通知你开启的服务，有时候遇到困难无障碍服务也是一个不得已的方案。
具体可以参照谷歌文档：https://developer.android.com/guide/topics/ui/accessibility/service
创建服务类
先创建一个app，实现一个继承AccessibilityService的Service
public class AccessibilitySampleService extends AccessibilityService {
public static String TAG = "SharkChilli";
@Override
protected void onServiceConnected() {
super.onServiceConnected();
}
@Override
public void onAccessibilityEvent(AccessibilityEvent event) {
// 此方法是在主线程中回调过来的，所以消息是阻塞执行的
}
@Override
public void onInterrupt() {
}
}
onServiceConnected方法中可以来配置服务的一些设置，比如监控哪些app的哪些动作之类的。
onAccessibilityEvent方法就是app发送交互后会调用的方法，相关的交互信息都在AccessibilityEvent 中。
谷歌官网的具体解释如下
- onServiceConnected() -（可选）当系统成功连接到无障碍服务时，会调用此方法。使用此方法可为服务执行任何一次性设置步骤，包括连接到用户反馈系统服务，如音频管理器或设备振动器。如果您要在运行时设置服务的配置或做出一次性调整，从此处调用 setServiceInfo() 非常方便。
- onAccessibilityEvent() -（必需）当系统检测到与无障碍服务指定的事件过滤参数匹配的 `AccessibilityEvent 时，会回调此方法。例如，当用户点击某个按钮或将焦点置于应用中的某个界面控件上，而无障碍服务正在为其提供反馈时。出现这种情况时，系统会调用此方法，并传递关联的 AccessibilityEvent，服务随后可以对其进行解读并用其向用户提供反馈。此方法可能会在服务的整个生命周期内被调用多次。
- onInterrupt() -（必需）当系统要中断服务正在提供的反馈（通常是为了响应将焦点移到其他控件等用户操作）时，会调用此方法。此方法可能会在服务的整个生命周期内被调用多次。
- onUnbind() -（可选）当系统将要关闭无障碍服务时，会调用此方法。使用此方法可执行任何一次性关闭流程，包括取消分配用户反馈系统服务，如音频管理器或设备振动器。
配置AndroidManifest.xml
和正常的Service一样需要到AndroidManifest.xml中配置我们实现的Service。
<service
android:name="com.shark.service.AccessibilitySampleService"
android:exported="true"
android:label="@string/accessibility_tip"
android:permission="android.permission.BIND_ACCESSIBILITY_SERVICE"
android:process=":BackgroundService">
<!--为了被视为无障碍服务，您必须在清单的 application 元素中添加一个 service 元素（而非 activity 元素）。
此外，在 service 元素中，您还必须添加一个无障碍服务 intent 过滤器。为了与 Android 4.1 及更高版本兼容，
清单还必须保护该服务，方法是添加 BIND_ACCESSIBILITY_SERVICE 权限以确保只有系统可以绑定到它 -->
<intent-filter>
<action android:name="android.accessibilityservice.AccessibilityService" />
</intent-filter>
<!--从 Android 4.0 开始，您可以在清单中添加一个引用配置文件的 <meta-data> 元素，这样可让您为无障碍服务设置所有选项-->
<meta-data
android:name="android.accessibilityservice"
android:resource="@xml/accessibility_config" />
</service>
这里基本是固定的在meta-data信息中配置的android:resource="@xml/accessibility_config"是指定我们服务的配置信息，这个配置工作也可以在上面的onServiceConnected方法通过AccessibilityServiceInfo配置。
我们看看这两种的配置方式
xml创建好相关的文件后配置如下
<?xml version="1.0" encoding="utf-8"?>
<accessibility-service xmlns:android="http://schemas.android.com/apk/res/android"
android:accessibilityEventTypes="typeAllMask"
android:accessibilityFeedbackType="feedbackGeneric"
android:canRetrieveWindowContent="true"
android:description="@string/accessibility_desc"
android:packageNames="com.shark.nougat"
android:notificationTimeout="100" />
onServiceConnected方法中配置
protected void onServiceConnected() {
super.onServiceConnected();
AccessibilityServiceInfo accessibilityServiceInfo = new AccessibilityServiceInfo();
accessibilityServiceInfo.eventTypes = AccessibilityEvent.TYPE_WINDOWS_CHANGED
| AccessibilityEvent.TYPE_WINDOW_STATE_CHANGED
| AccessibilityEvent.TYPE_VIEW_CLICKED
| AccessibilityEvent.TYPE_WINDOW_CONTENT_CHANGED
| AccessibilityEvent.TYPE_NOTIFICATION_STATE_CHANGED;
accessibilityServiceInfo.feedbackType = AccessibilityServiceInfo.FEEDBACK_ALL_MASK;
accessibilityServiceInfo.notificationTimeout = 0;
accessibilityServiceInfo.flags = AccessibilityServiceInfo.DEFAULT;
accessibilityServiceInfo.packageNames = new String[]{"com.shark.nougat"};
setServiceInfo(accessibilityServiceInfo);
}
如需详细了解可在无障碍服务配置文件中使用的 XML 属性，请点击以下链接转到相应的参考文档：
- android:description
- android:packageNames
- android:accessibilityEventTypes
- android:accessibilityFlags
- android:accessibilityFeedbackType
- android:notificationTimeout
- android:canRetrieveWindowContent
- android:settingsActivity
如需详细了解可在运行时动态设置的配置设置，请参阅 AccessibilityServiceInfo 参考文档
开启无障碍服务
将app安装后，到设置中开启服务
image.png
这个名称就是我们前面设置的lable
image.png
image.png
AccessibilityEvent的操作
开启后app只要有互动，系统就会将这次互动的相关信息封装到AccessibilityEvent中并调用onAccessibilityEvent方法，这里就介绍一下基本操作
判断操作的类型
public void onAccessibilityEvent(AccessibilityEvent event) {
// 此方法是在主线程中回调过来的，所以消息是阻塞执行的
switch (event.getEventType()) {
/**
* AccessibilityEvent.TYPE_WINDOW_STATE_CHANGED，
* 而会调用AccessibilityEvent.TYPE_WINDOW_CONTENT_CHANGED，
* 而AccessibilityEvent.TYPE_WINDOW_CONTENT_CHANGED只要内容改变后都会调用，
* 所以一般是使用AccessibilityEvent.TYPE_WINDOW_STATE_CHANGED来作为监测事件的
*/
case AccessibilityEvent.TYPE_WINDOW_STATE_CHANGED:
Log.i(TAG, "TYPE_WINDOW_STATE_CHANGED 界面改变");
break;
case AccessibilityEvent.TYPE_VIEW_CLICKED:
Log.i(TAG, "TYPE_VIEW_CLICKED view被点击");
break;
}
}
通过AccessibilityEvent.getEventType()可以获得这次互动的类型。更多类型可以参考官网文档
获得操作的app包名和Activity类名
String pkgName = event.getPackageName().toString();
String className = event.getClassName().toString();
AccessibilityNodeInfo操作
在无障碍服务中控件节点会包装为一个AccessibilityNodeInfo，通过这个类我们可以在代码中与之交互
获取root节点类型
private AccessibilityNodeInfo getRootNodeInfo() {
AccessibilityEvent curEvent = mAccessibilityEvent;
AccessibilityNodeInfo nodeInfo = null;
if (Build.VERSION.SDK_INT >= 16) {
// 建议使用getRootInActiveWindow，这样不依赖当前的事件类型
if (mAccessibilityService != null) {
nodeInfo = mAccessibilityService.getRootInActiveWindow();
Log.d(TAG, "getRootNodeInfo: " + nodeInfo);
}
// 下面这个必须依赖当前的AccessibilityEvent
// nodeInfo = curEvent.getSource();
} else {
nodeInfo = curEvent.getSource();
}
return nodeInfo;
}
获取了根节点就可以向下去查找其他节点了
通过ID查找节点
nodeInfo.findAccessibilityNodeInfosByViewId(viewId);
id："com.shark.nougat:id/sample_text"
通过Text查找节点
nodeInfo.findAccessibilityNodeInfosByText(text);
点击节点
node.performAction(AccessibilityNodeInfo.ACTION_CLICK);
修改文本
node.performAction(AccessibilityNodeInfo.ACTION_SET_TEXT, arguments);
点击全局返回、Home
performGlobalAction(AccessibilityService.GLOBAL_ACTION_BACK);
performGlobalAction(AccessibilityService.GLOBAL_ACTION_HOME);
uiautomatorviewer
我们可以使用sdk中自带的uiautomatorviewer查看app id等信息
image.png
引用
Github对AccessibilitySample封装
android 辅助功能（无障碍） AccessibilityService 实战入门详解
Android辅助功能（Accessibility）简介
Android辅助功能原理与基本使用详解-AccessibilityService
网友评论