概述
强大的iOS端到端(E2E)UI测试框架。
目前它在Avito中使用,我们拥有700+个E2E UI测试,其中约90%为绿色,并已帮助我们在过去两年中减少手动测试。我们在PR上运行了约25%,我们正在努力执行100%的测试,部分是通过从黑盒E2E测试切换到灰盒测试来实现。我们在3个平台上运行这些测试,耗时约40分钟(测试总时长为30+小时),因为我们使用了Emcee,这是一个可以在多台机器上运行测试的测试运行程序(注意,Mixbox不需要Emcee)。我们也在编写灰盒测试(其中模拟类、网络等),但我们只是刚刚开始。
如果您希望在您的公司中使用它,请向我们提交一个问题。我们正在使其可以被社区使用,但这不是我们的主要目标。
特色功能
-
行为和检查(显然)
-
像素级可见性检查
-
一切都有轮询
-
完全自动滚动
-
黑盒和灰盒测试!
- 黑盒测试在单独的应用程序中运行,能够启动应用程序。您可以使用这种类型的测试测试更多的应用程序功能。您可以使用模拟(但是需要编写更多代码,使用启动参数或实现进程间通信)。
- 灰盒测试是在应用程序内部运行的(如EarlGrey所示),但测试与黑盒测试兼容,因此您可以共享测试模型、页面对象、测试辅助工具等。由于测试是在同一进程中执行的,可以轻松模拟任何内容。测试启动应用程序而不使用模拟是无法进行的。
大多数代码在灰盒测试和黑盒测试之间是共享的,因为大多数功能也是这样。两种方法都有其自身的优点。使用这两种方法以获得一个好的测试金字塔。
-
页面对象
- 可以包含任何代码的函数
- 页面对象元素可以嵌套元素(但是,需要一些不太美观的样板代码)
- 完全可扩展的任何东西(操作/检查)。如果您实现自定义操作或检查,它将自动适用于黑盒和灰盒测试(例如:
SwipeAction
,所有内置操作实际上都是扩展)。
-
UICollectionView中的每个单元格在测试中都可见(包括屏幕外的单元格)
-
可定制的应用程序和测试之间的进程间通信
-
测试中可见的视图的自定义值
-
网络模拟(通过NSURLSessionProtocol)
-
设置权限(摄像头/地理定位/通知等)
-
推送通知的模拟(限制:仅在活动应用程序内部!)
-
从测试中打开url
-
地理定位模拟
-
硬件键盘(定义了很少的键盘代码,但是可以轻松实现)
-
无需分叉仓库即可个性化定制
-
Swift & Objective-C
-
经过验证
- 在3种设备配置上进行了176次黑盒UI测试
- 在3种设备配置上进行了155次灰盒UI测试
- 在4个设备配置上进行了100次单元测试
- SwiftLint +自定义linter
- 所有测试都针对每个给Mixbox的请求执行,通常一个请求等于一个提交。
- 使用5个版本的Xcode(10.0、10.1、10.2.1、10.3、11.0)测试了两个演示。
-
可配置的报告(例如:
Tests
项目集成了拥有Web界面的开源报告系统Allure,Avito使用内部解决方案生成报告;您可以编写自己的实现)
开发中 / 尚未开源
- 页面对象的代码生成
- 获取应用程序的所有断言失败
- 用于操作启动屏幕的代理
- 在发行版和测试构建之间切换可访问性值
安装
使用Mixbox有两种方式。
第一种在演示中有描述,它过于简化,基本上您只用 pod SomePod
。
第二种我们在Avito中使用,看起来像这样:测试(请参阅那里的Podfile)。
文档还不充分,所以您可以用简单的链接Mixbox(演示),但使用测试中的代码示例。
支持的 iOS/Xcode/Swift 版本
- Xcode 11
- Swift 5
- iOS 10.3, iOS 11.4, iOS 12.1,中间版本可能工作或不工作,提到的版本已在 CI 上测试过
- Cocoapods 1.8.4
- Mac OS 10.14.6
Xcode 9/10 以及更早版本不再支持。如果计划在不同的环境中使用此项目并遇到问题,请告诉我们。
已知问题
- 在 iOS 11.2 上崩溃(在 iOS 11.3、iOS 11.4 上工作正常)
- 在物理设备上设置权限不起作用(可能还有其他一些,我们没有在物理设备上进行测试;基本功能是正常的)
- 设备旋转未进行测试,我认为我们在这方面可能有 bug
- 未对 iPad 进行测试
- 报告中的俄语(将很快修复)
示例
有关真实示例,请参阅 Tests
项目。它是使用它的最新开源示例,但缺乏现实性(不展示如何为一个真实应用程序编写测试)。
展示基本功能的测试示例
func test() {
// Setting permissions
permissions.camera.set(.allowed)
permissions.photos.set(.notDetermined)
// Functions are useful in page objects and allows
// reusing code, for example, for transitions between states of the app
pageObjects.initial
.authorize(user: testUser)
.goToCvScreen()
// Aliases for simple assertions (you can add your own):
pageObjects.simpleCv.view.assertIsDisplayed()
pageObjects.simpleCv.title.assertHasText("My CV")
// Fully customizable assertions
pageObjects.simpleCv.addressField.assertMatches { element in
element.text != addressFieldInitialText && element.text.isNotEmpty
}
// Network stubbing.
networking.stubbing
.stub(urlPattern: ".*?example.com/api/cv")
.thenReturn(file: "cv.json")
// There is also a monitoring feature, including recording+replaying feature that
// allows to record all network and replay in later, so your tests will not require internet.
// Actions
pageObjects.simpleCV.occupationField.setText("iOS developer")
pageObjects.simpleCV.createCVButton.tap()
}
声明页面对象
public final class MapScreen:
BasePageObjectWithDefaultInitializer,
ScreenWithNavigationBar // protocol extensions are very useful for sharing code
{
// Basic locator
public var mapView: ViewElement {
return element("Map view") { element in
element.id == "GoogleMapView"
}
}
// You can use complex checks
// Note that you can create your own matchers like `element.isFooBar()`
public func pin(coordinates: Coordinates, deltaInMeters: Double = 10) -> ViewElement {
return element("Pin with coordinates \(coordinates)") { element in
element.id == "pin" && element
.customValues["coordinates", Coordinates.self]
.isClose(to: coordinates, deltaInMeters: deltaInMeters)
}
}
}
声明自定义页面对象元素
public final class RatingStarsElement:
BaseElementWithDefaultInitializer,
ElementWithUi
{
public func assertRatingEqualsTo(
_ number: Int,
file: StaticString = #file,
line: UInt = #line)
{
assertMatches(file: file, line: line) { element in
element.customValues["rating"] == number
}
}
}
复制粘贴的代码
本库包含了一些从其他库中粘贴的代码。有时是单个文件,有时是因为我们需要在源代码中内置条件编译来防止将代码链接到发布构建中。
- EarlGrey (所有使用了
EarlGrey
的源文件中某处都包含EarlGrey
子串)。许可位于此处(Apache许可)。它是一个可见性检查器、设置无障碍性等。《原始仓库:https://github.com/google/EarlGrey - AnyCodable。增加了一些
#if
条件代码。《原始仓库:https://github.com/Flight-School/AnyCodable - 《原始仓库:https://github.com/Subito-it/SBTUITestTunnel
- CocoaImageHashing。由于向后兼容性问题(ameingast/cocoaimagehashing#13),我们不能合并此修复程序,所以我们使用了复制的代码。《原始仓库:https://github.com/ameingast/cocoaimagehashing
用于测试
- https://github.com/akveo/eva-icons:用于测试图像相似性代码的各种图标(MIT 许可)。