MixboxTestsFoundation 0.3.46

MixboxTestsFoundation 0.3.46

由以下人员维护:Artyom RazinovVladislav AlekseevTimofey SoloninAlexey ShpirkoArtyom Razinov



 
依赖于
MixboxFoundation>= 0
MixboxUiKit>= 0
MixboxBuiltinDi>= 0
SQLite.swift>= 0
MixboxLinkXCTAutomationSupport>= 0
MixboxIpc>= 0
MixboxIpcCommon>= 0
 

  • 来自 Avito 的编码蜂巢

概述

Version License Build Status

强大的 iOS 端到端 UI 测试框架。

目前它在 Avito 中使用,我们拥有 700 多个端到端 UI 测试,其中大约有 90% 是绿色的,并且它们已经帮助我们在过去两年内减少了手动测试。我们在 PR 上运行了大约 25%,我们正在努力将 100% 的测试在拉取请求上执行,部分是通过从黑盒端到端测试切换到灰盒测试。我们在 3 个平台上运行这些测试,耗时约 40 分钟(测试总时长为 30 小时以上),因为我们使用了 Emcee,一个在多台机器上运行测试的测试运行程序(请注意,Mixbox 不需要 Emcee)。我们也正在编写灰盒测试(我们对类、网络和所有内容进行模拟),但我们才刚刚开始。

如果您想在自己的公司使用它,请向我们提交一个问题。我们正在努力使它能够被社区使用,但这并不是我们的主要目标。

特性

  • 动作和检查(显而易见)

  • 像素可见性检查

  • 一切都有轮询

  • 完全自动滚动

  • 黑盒和灰盒测试!

    • 黑盒测试在独立的应用程序中运行,可以启动应用程序。您可以使用这种类型的测试测试更多的应用程序功能。您可以使用模拟,但这将需要您编写更多的代码(使用启动参数或实现进程间通信)。
    • 灰盒测试在应用程序内部运行(如在EarlGrey中),但测试与黑盒测试兼容,因此您可以共享您的测试模型、页面对象、测试助手等。由于测试在同一个进程中执行,因此您可以轻松模拟任何内容。您不能不使用模拟来启动您的应用程序进行测试。

    大多数代码在灰盒测试和黑盒测试之间共享,因为大多数功能都共享。这两种方法各有其优点。使用两种方法来获得良好的测试金字塔

  • 页面对象

    • 可以拥有任何代码的函数
    • 页面对象元素可以嵌套元素(但是,这需要一些不太美观的样板代码)
    • 一切(操作/检查)都是完全可扩展的。如果您实现自定义操作或检查,它将自动对黑盒和灰盒测试有效(请参阅SwipeAction,所有内置操作都是真正的扩展)。
  • UICollectionView中的每个单元格在测试中都是可见的(包括屏幕外的单元格)

  • 自定义应用程序和测试之间的进程间通信

  • 测试中可见的视图的自定义值

  • 网络模拟(通过NSURLSessionProtocol)

  • 设置权限(相机/地理位置/通知等)

  • 推送通知的模拟(限制:仅限于活动应用程序内部!)

  • 从测试中打开URL

  • 地理位置模拟

  • 硬件键盘(尽管定义的键码很少,但它可以很容易地实现)

  • 无需分叉存储库即可自定义

  • Swift & Objective-C

  • 经过测试

    • 176个黑盒UI测试在3种设备配置上
    • 155个灰盒UI测试在3种设备配置上
    • 100个单元测试在4种设备配置上
    • SwiftLint +自定义lint
    • 所有测试都在向Mixbox的每个pull request时执行,并且通常一个PR等于一个提交。
    • 两个示例在5个版本的Xcode(10.0、10.1、10.2.1、10.3、11.0)中进行测试。
  • 可配置的报告(例如:测试项目与开源报告系统Allure集成,该系统具有Web界面,在Avito中我们使用内部解决方案用于报告;您可以为报告编写自己的实现)

开发中/尚未开源

  • 页面对象的代码生成
  • 从应用获取所有断言失败
  • 用于与Springboard交互的简化方法
  • 切换发布和测试构建之间的可访问性值

安装

使用Mixbox有两种方式。

第一种在示例中有所描述,它被过度简化了,基本上您只需要使用pod SomePod

第二种我们在Avito中正在使用,它看起来像这样:测试(在那里查看Podfile)。

目前文档还不够充分,所以您可以使用简单的连接Mixbox(示例)的方法,但使用测试中的代码示例。

支持的 iOS/Xcode/Swift 版本

  • Xcode 11
  • Swift 5
  • iOS 10.3, iOS 11.4, iOS 12.1,中间版本可能工作或不工作,提到的版本已在 CI 上测试
  • Cocoapods 1.8.4
  • Mac OS 10.14.6

Xcode 9/10 及更早版本不再受支持。如果您打算在不同的环境中使用此项目并遇到问题,请告知我们。

已知问题

  • iOS 11.2 上崩溃(iOS 11.3、iOS 11.4 上运行良好)
  • 设置权限在物理设备上不起作用(可能还有其他情况,我们没有在物理设备上进行测试;基本功能起作用)
  • 未测试设备旋转,我认为我们与此有关的虫子
  • 未测试 iPad
  • 报告中出现俄语(将很快修复)

示例

对于真正的示例,请参阅 Tests 项目。这是目前最最新开源的示例,展示了如何使用它,但它缺乏现实性(不展示如何为一个真实的应用程序编写测试)。

展示基本功能的测试示例

func test() {
    // Setting permissions
    permissions.camera.set(.allowed)
    permissions.photos.set(.notDetermined)

    // Functions are useful in page objects and allows
    // reusing code, for example, for transitions between states of the app
    pageObjects.initial
        .authorize(user: testUser)
        .goToCvScreen()
        
    // Aliases for simple assertions (you can add your own):
    pageObjects.simpleCv.view.assertIsDisplayed()
    pageObjects.simpleCv.title.assertHasText("My CV")
    
    // Fully customizable assertions
    pageObjects.simpleCv.addressField.assertMatches { element in
        element.text != addressFieldInitialText && element.text.isNotEmpty
    }
    
    // Network stubbing.
    networking.stubbing
        .stub(urlPattern: ".*?example.com/api/cv")
        .thenReturn(file: "cv.json")
    // There is also a monitoring feature, including recording+replaying feature that
    // allows to record all network and replay in later, so your tests will not require internet.
    
    // Actions
    pageObjects.simpleCV.occupationField.setText("iOS developer")
    pageObjects.simpleCV.createCVButton.tap()
}

声明页面对象

public final class MapScreen:
    BasePageObjectWithDefaultInitializer,
    ScreenWithNavigationBar // protocol extensions are very useful for sharing code
{
    // Basic locator  
    public var mapView: ViewElement {
        return element("Map view") { element in
            element.id == "GoogleMapView"
        }
    }
    
    // You can use complex checks
    // Note that you can create your own matchers like `element.isFooBar()`
    public func pin(coordinates: Coordinates, deltaInMeters: Double = 10) -> ViewElement {
        return element("Pin with coordinates \(coordinates)") { element in
            element.id == "pin" && element
                .customValues["coordinates", Coordinates.self]
                .isClose(to: coordinates, deltaInMeters: deltaInMeters)
        }
    }
}

声明自定义页面元素

public final class RatingStarsElement:
    BaseElementWithDefaultInitializer,
    ElementWithUi
{
    public func assertRatingEqualsTo(
        _ number: Int,
        file: StaticString = #file,
        line: UInt = #line)
    {
        assertMatches(file: file, line: line) { element in
            element.customValues["rating"] == number
        }
    }
}

粘贴的代码

该库包含从其他库复制的一些代码。有时它是一个单独的文件,有时我们需要在源代码中内置条件编译,以防止在发布构建中链接代码。

用于测试

其他文档