美文网首页
Android 无障碍服务AccessibilityServic

Android 无障碍服务AccessibilityServic

作者: Sharkchilli | 来源:发表于2021-05-25 23:32 被阅读0次

前言

谷歌提供了一种用于与app自动交互的手动无障碍服务,只要像正常的Android Service一样写一个继承AccessibilityService的类即可创建一个无障碍服务。当app有操作时系统就会通知你开启的服务,有时候遇到困难无障碍服务也是一个不得已的方案。

具体可以参照谷歌文档:https://developer.android.com/guide/topics/ui/accessibility/service

创建服务类

先创建一个app,实现一个继承AccessibilityService的Service

public class AccessibilitySampleService extends AccessibilityService {
    public static String TAG = "SharkChilli";

    @Override
    protected void onServiceConnected() {
        super.onServiceConnected();
    }

    @Override
    public void onAccessibilityEvent(AccessibilityEvent event) {
        // 此方法是在主线程中回调过来的,所以消息是阻塞执行的
 
    }

    @Override
    public void onInterrupt() {
    }
}

onServiceConnected方法中可以来配置服务的一些设置,比如监控哪些app的哪些动作之类的。
onAccessibilityEvent方法就是app发送交互后会调用的方法,相关的交互信息都在AccessibilityEvent 中。
谷歌官网的具体解释如下

  • onServiceConnected() -(可选)当系统成功连接到无障碍服务时,会调用此方法。使用此方法可为服务执行任何一次性设置步骤,包括连接到用户反馈系统服务,如音频管理器或设备振动器。如果您要在运行时设置服务的配置或做出一次性调整,从此处调用 setServiceInfo() 非常方便。
  • onAccessibilityEvent() -(必需)当系统检测到与无障碍服务指定的事件过滤参数匹配的 `AccessibilityEvent 时,会回调此方法。例如,当用户点击某个按钮或将焦点置于应用中的某个界面控件上,而无障碍服务正在为其提供反馈时。出现这种情况时,系统会调用此方法,并传递关联的 AccessibilityEvent,服务随后可以对其进行解读并用其向用户提供反馈。此方法可能会在服务的整个生命周期内被调用多次。
  • onInterrupt() -(必需)当系统要中断服务正在提供的反馈(通常是为了响应将焦点移到其他控件等用户操作)时,会调用此方法。此方法可能会在服务的整个生命周期内被调用多次。
  • onUnbind() -(可选)当系统将要关闭无障碍服务时,会调用此方法。使用此方法可执行任何一次性关闭流程,包括取消分配用户反馈系统服务,如音频管理器或设备振动器。

配置AndroidManifest.xml

和正常的Service一样需要到AndroidManifest.xml中配置我们实现的Service。

<service
            android:name="com.shark.service.AccessibilitySampleService"
            android:exported="true"
            android:label="@string/accessibility_tip"
            android:permission="android.permission.BIND_ACCESSIBILITY_SERVICE"
            android:process=":BackgroundService">
            <!--为了被视为无障碍服务,您必须在清单的 application 元素中添加一个 service 元素(而非 activity 元素)。
            此外,在 service 元素中,您还必须添加一个无障碍服务 intent 过滤器。为了与 Android 4.1 及更高版本兼容,
            清单还必须保护该服务,方法是添加 BIND_ACCESSIBILITY_SERVICE 权限以确保只有系统可以绑定到它 -->
            <intent-filter>
                <action android:name="android.accessibilityservice.AccessibilityService" />
            </intent-filter>
            <!--从 Android 4.0 开始,您可以在清单中添加一个引用配置文件的 <meta-data> 元素,这样可让您为无障碍服务设置所有选项-->
            <meta-data
                android:name="android.accessibilityservice"
                android:resource="@xml/accessibility_config" />
 </service>

这里基本是固定的在meta-data信息中配置的android:resource="@xml/accessibility_config"是指定我们服务的配置信息,这个配置工作也可以在上面的onServiceConnected方法通过AccessibilityServiceInfo配置。

我们看看这两种的配置方式
xml创建好相关的文件后配置如下

<?xml version="1.0" encoding="utf-8"?>
<accessibility-service xmlns:android="http://schemas.android.com/apk/res/android"
    android:accessibilityEventTypes="typeAllMask"
    android:accessibilityFeedbackType="feedbackGeneric"
    android:canRetrieveWindowContent="true"
    android:description="@string/accessibility_desc"
    android:packageNames="com.shark.nougat"
    android:notificationTimeout="100" />

onServiceConnected方法中配置

protected void onServiceConnected() {
        super.onServiceConnected();
        AccessibilityServiceInfo accessibilityServiceInfo = new AccessibilityServiceInfo();
        accessibilityServiceInfo.eventTypes = AccessibilityEvent.TYPE_WINDOWS_CHANGED
                | AccessibilityEvent.TYPE_WINDOW_STATE_CHANGED
                | AccessibilityEvent.TYPE_VIEW_CLICKED
                | AccessibilityEvent.TYPE_WINDOW_CONTENT_CHANGED
                | AccessibilityEvent.TYPE_NOTIFICATION_STATE_CHANGED;
        accessibilityServiceInfo.feedbackType = AccessibilityServiceInfo.FEEDBACK_ALL_MASK;
        accessibilityServiceInfo.notificationTimeout = 0;
        accessibilityServiceInfo.flags = AccessibilityServiceInfo.DEFAULT;
        accessibilityServiceInfo.packageNames = new String[]{"com.shark.nougat"};
        setServiceInfo(accessibilityServiceInfo);
    }

如需详细了解可在无障碍服务配置文件中使用的 XML 属性,请点击以下链接转到相应的参考文档:

如需详细了解可在运行时动态设置的配置设置,请参阅 AccessibilityServiceInfo 参考文档


开启无障碍服务

将app安装后,到设置中开启服务


image.png

这个名称就是我们前面设置的lable


image.png
image.png

AccessibilityEvent的操作

开启后app只要有互动,系统就会将这次互动的相关信息封装到AccessibilityEvent中并调用onAccessibilityEvent方法,这里就介绍一下基本操作

判断操作的类型

public void onAccessibilityEvent(AccessibilityEvent event) {
        // 此方法是在主线程中回调过来的,所以消息是阻塞执行的
        switch (event.getEventType()) {
            /**
             * AccessibilityEvent.TYPE_WINDOW_STATE_CHANGED,
             * 而会调用AccessibilityEvent.TYPE_WINDOW_CONTENT_CHANGED,
             * 而AccessibilityEvent.TYPE_WINDOW_CONTENT_CHANGED只要内容改变后都会调用,
             * 所以一般是使用AccessibilityEvent.TYPE_WINDOW_STATE_CHANGED来作为监测事件的
             */
            case AccessibilityEvent.TYPE_WINDOW_STATE_CHANGED:
                Log.i(TAG, "TYPE_WINDOW_STATE_CHANGED 界面改变");
                break;
            case AccessibilityEvent.TYPE_VIEW_CLICKED:
                Log.i(TAG, "TYPE_VIEW_CLICKED view被点击");
                break;
        }
    }

通过AccessibilityEvent.getEventType()可以获得这次互动的类型。更多类型可以参考官网文档

获得操作的app包名和Activity类名

String pkgName = event.getPackageName().toString();
String className = event.getClassName().toString();

AccessibilityNodeInfo操作

在无障碍服务中控件节点会包装为一个AccessibilityNodeInfo,通过这个类我们可以在代码中与之交互

获取root节点类型

private AccessibilityNodeInfo getRootNodeInfo() {
        AccessibilityEvent curEvent = mAccessibilityEvent;
        AccessibilityNodeInfo nodeInfo = null;
        if (Build.VERSION.SDK_INT >= 16) {
            // 建议使用getRootInActiveWindow,这样不依赖当前的事件类型
            if (mAccessibilityService != null) {
                nodeInfo = mAccessibilityService.getRootInActiveWindow();
                Log.d(TAG, "getRootNodeInfo: " + nodeInfo);
            }
            // 下面这个必须依赖当前的AccessibilityEvent
//            nodeInfo = curEvent.getSource();
        } else {
            nodeInfo = curEvent.getSource();
        }
        return nodeInfo;
    }

获取了根节点就可以向下去查找其他节点了

通过ID查找节点

nodeInfo.findAccessibilityNodeInfosByViewId(viewId);

id:"com.shark.nougat:id/sample_text"

通过Text查找节点

nodeInfo.findAccessibilityNodeInfosByText(text);

点击节点

node.performAction(AccessibilityNodeInfo.ACTION_CLICK);

修改文本

node.performAction(AccessibilityNodeInfo.ACTION_SET_TEXT, arguments);

点击全局返回、Home

performGlobalAction(AccessibilityService.GLOBAL_ACTION_BACK);
performGlobalAction(AccessibilityService.GLOBAL_ACTION_HOME);

uiautomatorviewer

我们可以使用sdk中自带的uiautomatorviewer查看app id等信息


image.png

引用

Github对AccessibilitySample封装
android 辅助功能(无障碍) AccessibilityService 实战入门详解
Android辅助功能(Accessibility)简介
Android辅助功能原理与基本使用详解-AccessibilityService

相关文章

网友评论

      本文标题:Android 无障碍服务AccessibilityServic

      本文链接:https://www.haomeiwen.com/subject/jachsltx.html