MixboxFoundation 0.3.46

MixboxFoundation 0.3.46

×

由以下开发者维护：Artyom Razinov，Artyom Razinov，Vladislav Alekseev，Timofey Solonin，Alexey Shpirko。

MixboxFoundation 0.3.46

  • 由
  • Avito 的编码蜜蜂巢提供

概览

Version License Build Status

强大的 iOS end-to-end UI 测试框架。

目前它在 Avito 上使用，我们已经有 700+ 的 E2E UI 测试，大约 90% 是绿色的，并且帮助我们在过去两年中减少了手动测试。我们在大约 25% 的 PR 上运行测试，并正在努力实现100% 的测试在拉取请求中执行，部分是通过从黑盒 E2E 转换到灰盒测试。我们在 3 个平台上进行这些测试，大约需要 40 分钟（测试的总时长为 30+ 小时），因为我们在使用< href="https://github.com/avito-tech/Emcee">Emcee，一个在多台机器上运行测试的测试运行器（请注意，Mixbox 不需要 Emcee）。我们也正在编写灰盒测试（其中我们模拟类、网络等），但我们才刚刚开始。

如果您想在您的公司使用它，请向我们提交一个问题。我们在努力使其可用，尽管这并不是我们的主要目标。

功能

  • 动作和检查（显而易见）

  • 像素可见性检查

  • 一切都是轮询的

  • 完全自动滚动

  • 黑盒和灰盒测试！

    • 黑盒测试在独立的 APP 中运行，可以启动 APP。您可以使用此类测试测试更多应用程序功能。您可以使用模拟，但这将需要您编写更多代码（使用启动参数或实现进程间通信）。
    • 灰盒测试是在应用内部运行的（如在EarlGrey中），但是测试与黑盒测试兼容，因此您可以共享您的测试模型、页面对象、测试辅助工具等。由于测试在相同进程中执行，您可以轻松模拟任何东西。不使用模拟就不能测试启动应用。

    大部分代码在灰盒测试和黑盒测试之间共享，因为大部分功能都是。两种方法都有自己的优点。使用这两种方法可以得到一个良好的测试金字塔。

  • 页面对象

    • 可以包含任何代码的函数
    • 页面对象元素可以嵌套元素（然而，这需要一些不太美观的模板代码）
    • 所有（动作/检查）都是可扩展的。如果您实现自定义动作或检查，它将自动适用于黑盒和灰盒测试（参见SwipeAction，所有内置动作实际上都是扩展）。

  • UICollectionView中的每个单元格在测试中都是可见的（包括屏幕外的单元格）

  • 可自定义的应用与测试之间的进程间通信

  • 测试中可见的视图的可自定义值

  • 网络模拟（通过NSURLSessionProtocol）

  • 设置权限（摄像头/地理定位/通知等）

  • 推送通知的模拟（限制：仅限活动应用内部！）

  • 从测试中打开URL

  • 地理定位模拟

  • 硬件键盘（尽管定义的键码很少，但它可以轻松实现）

  • 自定义而无需分叉存储库

  • Swift & Objective-C

  • 已测试

    • 在3种设备配置上运行了176个黑盒UI测试
    • 在3种设备配置上运行了155个灰盒UI测试
    • 在4种设备配置上运行了100个单元测试
    • SwiftLint + 自定义linter
    • 每次向Mixbox提交拉取请求时都会执行所有测试，通常1个PR等于1个提交。
    • 使用5个版本的Xcode（10.0、10.1、10.2.1、10.3、11.0）测试了两个演示。

  • 可配置的报告（例如：Tests项目与具有Web UI的开源报告系统Allure整合，在Avito我们使用定制的报告方案；您可以编写自己的实现）

开发中 / 尚未开源

  • 页面对象的代码生成
  • 获取应用中所有断言失败情况
  • 用于与Springboard工作的封装器
  • 在发布和测试构建之间切换辅助功能值

安装

使用Mixbox有两种方法。

第一种是在演示中描述的，它是过度简化的，基本上您只需使用pod SomePod。

第二种是我们用于Avito的，如下所示：测试（在Podfile中查看）。

相关的文档还不够，所以您可以尝试链接Mixbox的简单方法（演示），但使用测试中的代码示例。

支持的 iOS/Xcode/Swift 版本

  • Xcode 11
  • Swift 5
  • iOS 10.3, iOS 11.4, iOS 12.1，中间版本可能工作也可能不工作，提到的版本已在 CI 上进行测试
  • Cocoapods 1.8.4
  • Mac OS 10.14.6

Xcode 9/10 及更早版本不再受支持。如果您计划在不同的环境中使用该项目并遇到问题，请告知我们。

已知问题

  • 在 iOS 11.2 上崩溃（在 iOS 11.3 和 iOS 11.4 上运行良好）
  • 在物理设备上设置权限不工作（可能还有其他，我们没有在物理设备上测试；基本功能工作）
  • 设备旋转没有进行测试，我认为我们在这方面存在一些错误
  • iPad 没有进行测试
  • 报告中使用俄语（将很快修复）

示例

要查看真实示例，请参见 Tests 项目。这是如何使用它的最新开源示例，但它不够真实（不展示如何针对真实应用程序编写测试）。

显示基本功能测试的示例

func test() {
    // Setting permissions
    permissions.camera.set(.allowed)
    permissions.photos.set(.notDetermined)

    // Functions are useful in page objects and allows
    // reusing code, for example, for transitions between states of the app
    pageObjects.initial
        .authorize(user: testUser)
        .goToCvScreen()
        
    // Aliases for simple assertions (you can add your own):
    pageObjects.simpleCv.view.assertIsDisplayed()
    pageObjects.simpleCv.title.assertHasText("My CV")
    
    // Fully customizable assertions
    pageObjects.simpleCv.addressField.assertMatches { element in
        element.text != addressFieldInitialText && element.text.isNotEmpty
    }
    
    // Network stubbing.
    networking.stubbing
        .stub(urlPattern: ".*?example.com/api/cv")
        .thenReturn(file: "cv.json")
    // There is also a monitoring feature, including recording+replaying feature that
    // allows to record all network and replay in later, so your tests will not require internet.
    
    // Actions
    pageObjects.simpleCV.occupationField.setText("iOS developer")
    pageObjects.simpleCV.createCVButton.tap()
}

声明页面对象

public final class MapScreen:
    BasePageObjectWithDefaultInitializer,
    ScreenWithNavigationBar // protocol extensions are very useful for sharing code
{
    // Basic locator  
    public var mapView: ViewElement {
        return element("Map view") { element in
            element.id == "GoogleMapView"
        }
    }
    
    // You can use complex checks
    // Note that you can create your own matchers like `element.isFooBar()`
    public func pin(coordinates: Coordinates, deltaInMeters: Double = 10) -> ViewElement {
        return element("Pin with coordinates \(coordinates)") { element in
            element.id == "pin" && element
                .customValues["coordinates", Coordinates.self]
                .isClose(to: coordinates, deltaInMeters: deltaInMeters)
        }
    }
}

声明自定义页面对象元素

public final class RatingStarsElement:
    BaseElementWithDefaultInitializer,
    ElementWithUi
{
    public func assertRatingEqualsTo(
        _ number: Int,
        file: StaticString = #file,
        line: UInt = #line)
    {
        assertMatches(file: file, line: line) { element in
            element.customValues["rating"] == number
        }
    }
}

粘贴的代码

该库包含从其他库粘贴的一些代码。有些时候是单个文件，有时是为了在源代码中内置条件编译以防止在发布构建中链接代码。

用于测试

其他文档