概览
一个强大的 iOS E2E UI 测试框架。
目前它被 Avito 使用,我们拥有 700+ 个 E2E UI 测试,其中约 90% 是绿色的,它们帮助我们减少手动测试已有 2 年。我们在 PR 上运行约 25%,并致力于将所有测试在拉取请求中执行,部分是通过从黑盒 E2E 转换到灰盒测试。我们在 3 个平台上运行这些测试,耗时约 40 分钟(测试总时长为 30+ 小时),因为我们使用了 Emcee,这是一个在多台机器上运行测试的测试运行器(注意,Mixbox 不需要 Emcee)。我们也在编写灰盒测试(其中我们可以模拟类、网络等一切),但我们才刚刚开始。
如果您对在公司中使用它充满热情,请向我们提交一个问题。我们正在使其可供社区使用,但这不是我们的主要目标。
功能
-
操作和检查(显然)
-
像素可见性检查
-
所有操作均有轮询机制
-
全自动滚动
-
黑盒和灰盒测试!
- 黑盒测试在单独的应用程序中运行,并能启动应用程序。您可以使用这种类型的测试进行更多应用程序功能的测试。您可以使用模拟,但这需要您编写更多代码(使用启动参数或实现进程间通信)。
- 灰盒测试在应用程序内部运行(例如,在EarlGrey中),但测试与黑盒测试兼容,因此您可以将测试模型、页面对象、测试助手等共享。您可以轻松地对任何内容进行模拟,因为测试是在相同的过程中执行的。如果不使用模拟,您无法测试启动应用程序。
大部分代码在灰盒和黑盒测试之间共享,因为功能也大部分一样。两种选择都有自己的优点。使用这两种方法以获得良好的测试金字塔。
-
页面对象
- 可以有包含任何代码的函数
- 页面对象元素可以嵌套元素(但是,它需要一些不太让人满意的基础代码)
- (动作/检查)一切都可以充分扩展。如果您实现了自定义动作或检查,它将自动适用于黑盒和灰盒测试(参见
SwipeAction
,所有内置动作都实际上是扩展)。
-
UICollectionView中的每个单元格在测试中都可见(包括屏幕外的单元格)
-
应用程序和测试之间可定制的进程间通信
-
可视视图的可定制值
-
网络模拟(通过NSURLSessionProtocol)
-
设置权限(相机/地理位置/通知等)
-
推送通知的模拟(限制:仅限活动应用程序内部!)
-
在测试中打开URL
-
地理位置模拟
-
硬件键盘(定义了非常少的键码,但它可以轻松实现)
-
无需fork存储库即可自定义
-
Swift & Objective-C
-
已进行测试
- 在3种设备配置上进行176次黑盒UI测试
- 在3种设备配置上进行155次灰盒UI测试
- 在4种设备配置上进行100次单元测试
- SwiftLint + 自定义linter
- 每次向Mixbox推送请求时,都会执行所有测试,并且通常一个PR等于一个提交。
- 使用5个版本的Xcode(10.0、10.1、10.2.1、10.3、11.0)测试了两个演示
-
可配置的报告(例如:
Tests
项目集成有Allure,这是一个开源的具有网络界面的报告系统;在Avito我们使用自有的报告解决方案;您可以编写自己的实现)
处于开发中/尚未开源
- 页面对象的代码生成
- 从应用程序获取所有断言失败
- 与Spotlight 快捷方式一起工作的外观
- 在发布和测试构建之间切换可访问性值
安装
使用Mixbox有两种方法。
第一种在演示中进行描述,它过于简化,基本上您只需使用pod SomePod
。
第二种我们在Avito中使用,如下所示:测试(在那里查看Podfile)。
此类文档还不够,因此您可以尝试将Mixbox链接起来的简单方法(演示),但使用测试中的代码示例。
支持的 iOS/Xcode/Swift 版本
- Xcode 11
- Swift 5
- iOS 10.3, iOS 11.4, iOS 12.1,中间版本可能可行也可能不可行,上述版本已在 CI 上进行过测试
- Cocoapods 1.8.4
- Mac OS 10.14.6
不再支持 Xcode 9/10 及更早版本。如果您计划在不同的环境中使用此项目并遇到问题,请告诉我们。
已知问题
- 在 iOS 11.2 上崩溃(在 iOS 11.3、iOS 11.4 上运行正常)
- 在物理设备上设置权限不起作用(可能在其他方面也有问题,我们没有在物理设备上测试;基本功能是有效的)
- 未测试设备旋转,我认为我们可能在其中存在一些错误
- 未测试 iPad
- 报告中的俄语(将很快修复)
示例
有关实际示例,请参阅 Tests
项目。这是最新开源的示例,说明了如何使用它,但它缺乏现实性(不显示测试是如何为实际应用程序编写的)。
有关基本功能的测试示例
func test() {
// Setting permissions
permissions.camera.set(.allowed)
permissions.photos.set(.notDetermined)
// Functions are useful in page objects and allows
// reusing code, for example, for transitions between states of the app
pageObjects.initial
.authorize(user: testUser)
.goToCvScreen()
// Aliases for simple assertions (you can add your own):
pageObjects.simpleCv.view.assertIsDisplayed()
pageObjects.simpleCv.title.assertHasText("My CV")
// Fully customizable assertions
pageObjects.simpleCv.addressField.assertMatches { element in
element.text != addressFieldInitialText && element.text.isNotEmpty
}
// Network stubbing.
networking.stubbing
.stub(urlPattern: ".*?example.com/api/cv")
.thenReturn(file: "cv.json")
// There is also a monitoring feature, including recording+replaying feature that
// allows to record all network and replay in later, so your tests will not require internet.
// Actions
pageObjects.simpleCV.occupationField.setText("iOS developer")
pageObjects.simpleCV.createCVButton.tap()
}
声明页面对象
public final class MapScreen:
BasePageObjectWithDefaultInitializer,
ScreenWithNavigationBar // protocol extensions are very useful for sharing code
{
// Basic locator
public var mapView: ViewElement {
return element("Map view") { element in
element.id == "GoogleMapView"
}
}
// You can use complex checks
// Note that you can create your own matchers like `element.isFooBar()`
public func pin(coordinates: Coordinates, deltaInMeters: Double = 10) -> ViewElement {
return element("Pin with coordinates \(coordinates)") { element in
element.id == "pin" && element
.customValues["coordinates", Coordinates.self]
.isClose(to: coordinates, deltaInMeters: deltaInMeters)
}
}
}
声明自定义页面对象元素
public final class RatingStarsElement:
BaseElementWithDefaultInitializer,
ElementWithUi
{
public func assertRatingEqualsTo(
_ number: Int,
file: StaticString = #file,
line: UInt = #line)
{
assertMatches(file: file, line: line) { element in
element.customValues["rating"] == number
}
}
}
复制的代码内容
此库包含从其他库中复制的一些代码。有时它是一个单独的文件,有时是因为我们需要在源代码中嵌入条件编译功能来防止在发布构建中链接代码。
- EarlGrey(使用
EarlGrey
的所有源文件都包含EarlGrey
子字符串)。[许可证在此(Apache)]( Docs/EarlGreyLicense/LICENSE )。它是可见性检查器,设置可访问性等。《原始仓库: https://github.com/google/EarlGrey - AnyCodable。增加了
#if
子句。原始仓库: https://github.com/Flight-School/AnyCodable - SBTUITestTunnel。在版本3.0.6以上的web视图中有bug。然后几年后我们在构建它时遇到了不可靠的现象。修复方法非常原始——复制一切以避免问题。我们可以深入研究,但是我们计划未来使用本机解决方案来执行IPC,所以我们没有进一步关注。原始仓库: https://github.com/Subito-it/SBTUITestTunnel
- CocoaImageHashing。我们需要一个因向后兼容性问题无法合并的修复(因向后兼容性问题ameingast/cocoaimagehashing#13),我们不需要向后兼容性,所以我们使用了复制的代码。原始仓库: https://github.com/ameingast/cocoaimagehashing
用于测试
- https://github.com/akveo/eva-icons:用于测试图像相似性的各种图标(MIT许可证)。