概览
适用于 iOS 的强大端到端 UI 测试框架。
目前它在 Avito 使用，我们已有 700+ 端到端 UI 测试，大约 90% 是绿色的，并且帮助我们已经减少了 2 年的手动测试。我们在 PR 上运行了约 25%，并且我们正在朝着在 pull request 上执行 100% 的测试迈进，部分是通过从黑盒端到端测试切换到灰盒测试。我们正在 3 个平台上运行这些测试，大约需要 40 分钟（测试的总时长为 30+ 小时），因为我们使用了 Emcee，这是一个在多个机器上运行测试的测试运行器（请注意，Mixbox 不需要 Emcee）。我们也在编写灰盒测试（其中我们模拟类、网络等），但我们才刚刚开始。
如果您想在您的公司中使用它，请向我们提交一个问题。我们正在努力使它可由社区使用，但并非我们的主要目标。
功能
-
动作和检查（显然）
-
每像素可见性检查
-
一切都有轮询
-
完全自动滚动
-
黑盒和灰盒测试！
- 黑盒测试在单独的应用程序中运行，能够启动应用程序。您可以使用此类型的测试测试更多应用程序功能。您可以使用模拟，但需要编写更多的代码（使用启动参数或实现进程间通信）。
- 灰盒测试在应用程序内运行（例如，在EarlGrey中），但测试与黑盒测试完全兼容（运行时），因此您可以共享测试模型、页面对象、测试助手等。您可以轻松模拟任何内容，因为在同一进程中执行测试。如果您不使用模拟，就无法测试启动应用程序。
大部分代码在灰盒测试和黑盒测试之间共享，因为大多数功能都如此。两种选项都有自己的优点。使用这两种方法以获得良好的测试金字塔。
-
页面对象
- 可以包含任何代码的函数
- 页面对象元素可以嵌套元素（但是，需要一些不太好看的开箱代码）
- 所有（操作/检查）都是完全可扩展的。如果您实现自定义操作或检查，它将自动为黑盒和灰盒测试工作（请参看
SwipeAction，所有内置操作都是真正的扩展）。
-
UICollectionView中的每一个单元格在测试中都是可见的（包括屏幕外的单元格）
-
可定制的进程间通信（应用程序和测试之间）
-
测试中可见的视图的可定制的值
-
网络模拟（通过NSURLSessionProtocol）
-
设置权限（相机/地理位置/通知等）
-
推送通知的模拟（限制：仅限活动应用程序内！）
-
从测试中打开url
-
地理位置模拟
-
硬件键盘（定义的键码很少，但可以轻松实现）
-
无需分支仓库即可自定义
-
Swift & Objective-C
-
已测试
- 在3种设备配置上对176个黑盒UI测试进行了测试
- 在3种设备配置上对155个灰盒UI测试进行了测试
- 在4种设备配置上对100个单元测试进行了测试
- SwiftLint +自定义lint
- 所有测试都会在向Mixbox提交每个请求时执行，并且通常1 PR 等于1个提交。
- 两个示例与5个版本的Xcode（10.0、10.1、10.2.1、10.3、11.0）进行了测试。
-
可定制的报告（例如：
Tests项目已与具有Web UI的开源报告系统Allure集成，在Avito中我们使用内部解决方案；您可以编写自己的实现）
开发中/尚未开源
- 页面对象的代码生成
- 获取应用程序中所有的断言失败
- 与Springboard交互的包装器
- 在发布版本和测试版本之间切换辅助功能值
安装
Mixbox有两种使用方法。
第一种在演示中描述，它过于简化了，主要是因为您只需使用pod SomePod。
我们在Avito中使用的第二种方法是这样的：测试（在Podfile中查看）。
文档还不够，所以您可以尝试简单的连接Mixbox的简单方法（演示），但请使用测试中的代码示例。
支持的 iOS/Xcode/Swift 版本
- Xcode 11
- Swift 5
- iOS 10.3, iOS 11.4, iOS 12.1, 中间版本可能可行也可能不行，上述版本已在 CI 上进行测试
- Cocoapods 1.8.4
- Mac OS 10.14.6
旧版 Xcode 9/10 以及更早的版本不再受支持。如果您计划在不同的环境中使用项目并遇到问题，请告知我们。
已知问题
- iOS 11.2 上崩溃（在 iOS 11.3 和 iOS 11.4 上表现良好）
- 设置权限在实体设备上不起作用（可能还有其他情况，我们没有在实体设备上进行测试；基本功能可用）
- 未测试设备旋转，我认为我们存在一些与此相关的错误
- 未在 iPad 上进行测试
- 报告中的俄罗斯语言（将很快修复）
示例
有关真实示例，请参阅《Tests》项目。它是使用它的最新开源示例，但它不够真实（不显示如何为真实应用程序编写测试）。
显示基本特征的测试示例
func test() {
// Setting permissions
permissions.camera.set(.allowed)
permissions.photos.set(.notDetermined)
// Functions are useful in page objects and allows
// reusing code, for example, for transitions between states of the app
pageObjects.initial
.authorize(user: testUser)
.goToCvScreen()
// Aliases for simple assertions (you can add your own):
pageObjects.simpleCv.view.assertIsDisplayed()
pageObjects.simpleCv.title.assertHasText("My CV")
// Fully customizable assertions
pageObjects.simpleCv.addressField.assertMatches { element in
element.text != addressFieldInitialText && element.text.isNotEmpty
}
// Network stubbing.
networking.stubbing
.stub(urlPattern: ".*?example.com/api/cv")
.thenReturn(file: "cv.json")
// There is also a monitoring feature, including recording+replaying feature that
// allows to record all network and replay in later, so your tests will not require internet.
// Actions
pageObjects.simpleCV.occupationField.setText("iOS developer")
pageObjects.simpleCV.createCVButton.tap()
}
声明页面对象
public final class MapScreen:
BasePageObjectWithDefaultInitializer,
ScreenWithNavigationBar // protocol extensions are very useful for sharing code
{
// Basic locator
public var mapView: ViewElement {
return element("Map view") { element in
element.id == "GoogleMapView"
}
}
// You can use complex checks
// Note that you can create your own matchers like `element.isFooBar()`
public func pin(coordinates: Coordinates, deltaInMeters: Double = 10) -> ViewElement {
return element("Pin with coordinates \(coordinates)") { element in
element.id == "pin" && element
.customValues["coordinates", Coordinates.self]
.isClose(to: coordinates, deltaInMeters: deltaInMeters)
}
}
}
声明自定义页面对象元素
public final class RatingStarsElement:
BaseElementWithDefaultInitializer,
ElementWithUi
{
public func assertRatingEqualsTo(
_ number: Int,
file: StaticString = #file,
line: UInt = #line)
{
assertMatches(file: file, line: line) { element in
element.customValues["rating"] == number
}
}
}
复制粘贴的代码
该库包含从其他库粘贴的一些代码。有时是单个文件，有时是因为我们需要在源代码中内置条件编译以防止在发布构建中链接代码。
- EarlGrey （每个使用
EarlGrey的源文件都包含EarlGrey子字符串）。[许可协议在此（Apache）](Docs/EarlGreyLicense/LICENSE)。它是可见性检查器，设置无障碍访问等。原始仓库：https://github.com/google/EarlGrey - AnyCodable。添加了
#if条件语句。原始仓库：https://github.com/Flight-School/AnyCodable - SBTUITestTunnel。3.0.6 版本以上的WebView存在一个bug。几年后，在构建它时遇到了不可靠性。修复非常原始——复制粘贴所有内容以避免问题。我们可以更深入地研究，但有一个计划将来使用原生的IPC解决方案，所以没有浪费时间。原始仓库：https://github.com/Subito-it/SBTUITestTunnel
- CocoaImageHashing。我们需要一个无法合并的修复（由于向后兼容性 ameingast/cocoaimagehashing#13），我们不需要向后兼容性，所以使用复制粘贴的代码。原始仓库：https://github.com/ameingast/cocoaimagehashing
用于测试
- https://github.com/akveo/eva-icons：测试图像相似性代码的各种图标（MIT 许可证）。