Skip to main content

Непрерывная интеграция

Введение​

Тесты Playwright могут выполняться в средах CI. Мы создали примеры конфигураций для распространённых провайдеров CI.

3 шага для запуска ваших тестов на CI:

  1. Убедитесь, что агент CI может запускать браузеры: Используйте наш Docker-образ в Linux-агентах или установите ваши зависимости с помощью CLI.

  2. Установите Playwright:

    # Установите NPM пакеты
    npm ci

    # Установите браузеры Playwright и зависимости
    npx playwright install --with-deps

  3. Запустите ваши тесты:

    npx playwright test

Рабочие процессы​

Мы рекомендуем устанавливать workers в значение "1" в средах CI для обеспечения стабильности и воспроизводимости. Последовательный запуск тестов гарантирует, что каждый тест получает все системные ресурсы, избегая потенциальных конфликтов. Однако, если у вас есть мощная самоуправляемая система CI, вы можете включить параллельные тесты. Для более широкой параллелизации рассмотрите возможность шардинга - распределения тестов между несколькими заданиями CI.

playwright.config.ts
import { defineConfig, devices } from '@playwright/test';

export default defineConfig({
  // Отключите параллельные тесты на CI.
  workers: process.env.CI ? 1 : undefined,
});

Конфигурации CI​

Командные инструменты могут быть использованы для установки всех зависимостей операционной системы в CI.

GitHub Actions​

При push/pull_request​

Тесты будут запускаться при push или pull request на ветках main/master. Рабочий процесс установит все зависимости, установит Playwright и затем запустит тесты. Он также создаст HTML-отчёт.

.github/workflows/playwright.yml
name: Playwright Tests
on:
  push:
    branches: [ main, master ]
  pull_request:
    branches: [ main, master ]
jobs:
  test:
    timeout-minutes: 60
    runs-on: ubuntu-latest
    steps:
    - uses: actions/checkout@v4
    - uses: actions/setup-node@v4
      with:
        node-version: lts/*
    - name: Install dependencies
      run: npm ci
    - name: Install Playwright Browsers
      run: npx playwright install --with-deps
    - name: Run Playwright tests
      run: npx playwright test
    - uses: actions/upload-artifact@v4
      if: ${{ !cancelled() }}
      with:
        name: playwright-report
        path: playwright-report/
        retention-days: 30

При push/pull_request (с шардингом)​

GitHub Actions поддерживает шардинг тестов между несколькими заданиями. Ознакомьтесь с нашим документом о шардинге, чтобы узнать больше о шардинге и увидеть пример GitHub actions о том, как настроить задание для запуска ваших тестов на нескольких машинах, а также как объединить HTML-отчёты.

Через контейнеры​

GitHub Actions поддерживает запуск заданий в контейнере с использованием опции jobs.<job_id>.container. Это полезно, чтобы не загрязнять среду хоста зависимостями и иметь согласованную среду, например, для скриншотов/визуального тестирования регрессий на разных операционных системах.

.github/workflows/playwright.yml
name: Playwright Tests
on:
  push:
    branches: [ main, master ]
  pull_request:
    branches: [ main, master ]
jobs:
  playwright:
    name: 'Playwright Tests'
    runs-on: ubuntu-latest
    container:
      image: mcr.microsoft.com/playwright:v1.51.0-noble
      options: --user 1001
    steps:
      - uses: actions/checkout@v4
      - uses: actions/setup-node@v4
        with:
          node-version: lts/*
      - name: Install dependencies
        run: npm ci
      - name: Run your tests
        run: npx playwright test

При развертывании​

Это запустит тесты после того, как развертывание GitHub перейдёт в состояние success. Сервисы, такие как Vercel, используют этот шаблон, чтобы вы могли запускать свои end-to-end тесты в их развернутой среде.

.github/workflows/playwright.yml
name: Playwright Tests
on:
  deployment_status:
jobs:
  test:
    timeout-minutes: 60
    runs-on: ubuntu-latest
    if: github.event.deployment_status.state == 'success'
    steps:
    - uses: actions/checkout@v4
    - uses: actions/setup-node@v4
      with:
        node-version: lts/*
    - name: Install dependencies
      run: npm ci
    - name: Install Playwright
      run: npx playwright install --with-deps
    - name: Run Playwright tests
      run: npx playwright test
      env:
        PLAYWRIGHT_TEST_BASE_URL: ${{ github.event.deployment_status.target_url }}

Быстрый отказ​

Большие наборы тестов могут выполняться очень долго. Выполнив предварительный запуск тестов с флагом --only-changed, вы можете сначала запустить тестовые файлы, которые, вероятно, не пройдут. Это обеспечит более быструю обратную связь и немного снизит потребление CI при работе над Pull Requests. Чтобы обнаружить тестовые файлы, затронутые вашим изменением, --only-changed анализирует граф зависимостей вашего набора тестов. Это эвристика и может пропустить тесты, поэтому важно всегда запускать полный набор тестов после предварительного запуска.

.github/workflows/playwright.yml
name: Playwright Tests
on:
  push:
    branches: [ main, master ]
  pull_request:
    branches: [ main, master ]
jobs:
  test:
    timeout-minutes: 60
    runs-on: ubuntu-latest
    steps:
    - uses: actions/checkout@v4
      with:
        # Принудительно выполнить полную проверку, чтобы мы могли ссылаться на $GITHUB_BASE_REF.
        # Подробнее см. на https://github.com/actions/checkout.
        fetch-depth: 0
    - uses: actions/setup-node@v4
      with:
        node-version: lts/*
    - name: Install dependencies
      run: npm ci
    - name: Install Playwright Browsers
      run: npx playwright install --with-deps
    - name: Run changed Playwright tests
      run: npx playwright test --only-changed=$GITHUB_BASE_REF
      if: github.event_name == 'pull_request'
    - name: Run Playwright tests
      run: npx playwright test
    - uses: actions/upload-artifact@v4
      if: ${{ !cancelled() }}
      with:
        name: playwright-report
        path: playwright-report/
        retention-days: 30

Docker​

У нас есть предварительно собранный Docker-образ, который можно использовать напрямую или в качестве примера для обновления ваших существующих определений Docker.

Рекомендуемая конфигурация

  1. Использование --ipc=host также рекомендуется при использовании Chromium. Без этого Chromium может закончиться память и он может аварийно завершиться. Узнайте больше об этой опции в документации Docker.
  2. Видите другие странные ошибки при запуске Chromium? Попробуйте запустить ваш контейнер с docker run --cap-add=SYS_ADMIN при локальной разработке.
  3. Использование флага Docker --init или dumb-init рекомендуется для избежания специального обращения с процессами с PID=1. Это частая причина появления зомби-процессов.

Azure Pipelines​

Для агентов Windows или macOS не требуется дополнительной конфигурации, просто установите Playwright и запустите ваши тесты.

Для агентов Linux вы можете использовать наш Docker-контейнер с поддержкой Azure Pipelines запуска контейнеризованных заданий. В качестве альтернативы вы можете использовать командные инструменты для установки всех необходимых зависимостей.

Для запуска тестов Playwright используйте эту задачу в конвейере:

trigger:
- main

pool:
  vmImage: ubuntu-latest

steps:
- task: NodeTool@0
  inputs:
    versionSpec: '18'
  displayName: 'Install Node.js'
- script: npm ci
  displayName: 'npm ci'
- script: npx playwright install --with-deps
  displayName: 'Install Playwright browsers'
- script: npx playwright test
  displayName: 'Run Playwright tests'
  env:
    CI: 'true'

Загрузка папки playwright-report с Azure Pipelines​

Это приведёт к сбою выполнения конвейера, если какой-либо из тестов playwright не пройдёт. Если вы также хотите интегрировать результаты тестов с Azure DevOps, используйте задачу PublishTestResults следующим образом:

trigger:
- main

pool:
  vmImage: ubuntu-latest

steps:
- task: NodeTool@0
  inputs:
    versionSpec: '18'
  displayName: 'Install Node.js'

- script: npm ci
  displayName: 'npm ci'
- script: npx playwright install --with-deps
  displayName: 'Install Playwright browsers'
- script: npx playwright test
  displayName: 'Run Playwright tests'
  env:
    CI: 'true'
- task: PublishTestResults@2
  displayName: 'Publish test results'
  inputs:
    searchFolder: 'test-results'
    testResultsFormat: 'JUnit'
    testResultsFiles: 'e2e-junit-results.xml'
    mergeTestResults: true
    failTaskOnFailedTests: true
    testRunTitle: 'My End-To-End Tests'
  condition: succeededOrFailed()
- task: PublishPipelineArtifact@1
  inputs:
    targetPath: playwright-report
    artifact: playwright-report
    publishLocation: 'pipeline'
  condition: succeededOrFailed()

Примечание: Репортер JUnit должен быть настроен соответствующим образом через

import { defineConfig } from '@playwright/test';

export default defineConfig({
  reporter: [['junit', { outputFile: 'test-results/e2e-junit-results.xml' }]],
});

в playwright.config.ts.

Azure Pipelines (с шардингом)​

trigger:
- main

pool:
  vmImage: ubuntu-latest

strategy:
  matrix:
    chromium-1:
      project: chromium
      shard: 1/3
    chromium-2:
      project: chromium
      shard: 2/3
    chromium-3:
      project: chromium
      shard: 3/3
    firefox-1:
      project: firefox
      shard: 1/3
    firefox-2:
      project: firefox
      shard: 2/3
    firefox-3:
      project: firefox
      shard: 3/3
    webkit-1:
      project: webkit
      shard: 1/3
    webkit-2:
      project: webkit
      shard: 2/3
    webkit-3:
      project: webkit
      shard: 3/3
steps:
- task: NodeTool@0
  inputs:
    versionSpec: '18'
  displayName: 'Install Node.js'

- script: npm ci
  displayName: 'npm ci'
- script: npx playwright install --with-deps
  displayName: 'Install Playwright browsers'
- script: npx playwright test --project=$(project) --shard=$(shard)
  displayName: 'Run Playwright tests'
  env:
    CI: 'true'

Azure Pipelines (контейнеризированные)​

trigger:
- main

pool:
  vmImage: ubuntu-latest
container: mcr.microsoft.com/playwright:v1.51.0-noble

steps:
- task: NodeTool@0
  inputs:
    versionSpec: '18'
  displayName: 'Install Node.js'

- script: npm ci
  displayName: 'npm ci'
- script: npx playwright test
  displayName: 'Run Playwright tests'
  env:
    CI: 'true'

CircleCI​

Запуск Playwright на CircleCI очень похож на запуск на GitHub Actions. Чтобы указать предварительно собранный Playwright Docker-образ, просто измените определение агента с docker: в вашей конфигурации следующим образом:

executors:
  pw-noble-development:
    docker:
      - image: mcr.microsoft.com/playwright:v1.51.0-noble

Примечание: При использовании определения агента docker вы указываете класс ресурсов, где playwright запускается на уровне 'medium' здесь. Поведение Playwright по умолчанию - устанавливать количество рабочих процессов в соответствии с обнаруженным количеством ядер (2 в случае уровня medium). Переопределение количества рабочих процессов на большее значение приведёт к ненужным тайм-аутам и сбоям.

Шардинг в CircleCI​

Шардинг в CircleCI индексируется с 0, что означает, что вам нужно будет переопределить значения переменных окружения параллелизма. Следующий пример демонстрирует, как запустить Playwright с параллелизмом CircleCI, равным 4, добавив 1 к CIRCLE_NODE_INDEX, чтобы передать в аргумент --shard cli.

  playwright-job-name:
    executor: pw-noble-development
    parallelism: 4
    steps:
      - run: SHARD="$((${CIRCLE_NODE_INDEX}+1))"; npx playwright test --shard=${SHARD}/${CIRCLE_NODE_TOTAL}

Jenkins​

Jenkins поддерживает Docker-агенты для конвейеров. Используйте Docker-образ Playwright для запуска тестов на Jenkins.

pipeline {
   agent { docker { image 'mcr.microsoft.com/playwright:v1.51.0-noble' } }
   stages {
      stage('e2e-tests') {
         steps {
            sh 'npm ci'
            sh 'npx playwright test'
         }
      }
   }
}

Bitbucket Pipelines​

Bitbucket Pipelines может использовать публичные Docker-образы как среды сборки. Чтобы запустить тесты Playwright на Bitbucket, используйте наш публичный Docker-образ (см. Dockerfile).

image: mcr.microsoft.com/playwright:v1.51.0-noble

GitLab CI​

Чтобы запустить тесты Playwright на GitLab, используйте наш публичный Docker-образ (см. Dockerfile).

stages:
  - test

tests:
  stage: test
  image: mcr.microsoft.com/playwright:v1.51.0-noble
  script:
  ...

Шардинг​

GitLab CI поддерживает шардинг тестов между несколькими заданиями с использованием ключевого слова parallel. Тестовое задание будет разделено на несколько меньших заданий, которые выполняются параллельно. Параллельные задания именуются последовательно от job_name 1/N до job_name N/N.

stages:
  - test

tests:
  stage: test
  image: mcr.microsoft.com/playwright:v1.51.0-noble
  parallel: 7
  script:
    - npm ci
    - npx playwright test --shard=$CI_NODE_INDEX/$CI_NODE_TOTAL

GitLab CI также поддерживает шардинг тестов между несколькими заданиями с использованием опции parallel:matrix. Тестовое задание будет выполняться несколько раз параллельно в одном конвейере, но с разными значениями переменных для каждого экземпляра задания. В приведённом ниже примере у нас есть 2 значения PROJECT и 10 значений SHARD, что в сумме даёт 20 заданий для выполнения.

stages:
  - test

tests:
  stage: test
  image: mcr.microsoft.com/playwright:v1.51.0-noble
  parallel:
    matrix:
      - PROJECT: ['chromium', 'webkit']
        SHARD: ['1/10', '2/10', '3/10', '4/10', '5/10', '6/10', '7/10', '8/10', '9/10', '10/10']
  script:
    - npm ci
    - npx playwright test --project=$PROJECT --shard=$SHARD

Google Cloud Build​

Чтобы запустить тесты Playwright на Google Cloud Build, используйте наш публичный Docker-образ (см. Dockerfile).

steps:
- name: mcr.microsoft.com/playwright:v1.51.0-noble
  script: 
  ...
  env:
  - 'CI=true'

Drone​

Чтобы запустить тесты Playwright на Drone, используйте наш публичный Docker-образ (см. Dockerfile).

kind: pipeline
name: default
type: docker

steps:
  - name: test
    image: mcr.microsoft.com/playwright:v1.51.0-noble
    commands:
      - npx playwright test

Кэширование браузеров​

Кэширование бинарных файлов браузеров не рекомендуется, так как время, необходимое для восстановления кэша, сопоставимо с временем, необходимым для загрузки бинарных файлов. Особенно в Linux необходимо установить зависимости операционной системы, которые не подлежат кэшированию.

Если вы всё же хотите кэшировать бинарные файлы браузеров между запусками CI, кэшируйте эти директории в вашей конфигурации CI, используя хэш версии Playwright.

Отладка запусков браузера​

Playwright поддерживает переменную окружения DEBUG для вывода отладочных логов во время выполнения. Установка её в pw:browser полезна при отладке ошибок Error: Failed to launch browser.

DEBUG=pw:browser npx playwright test

Запуск с интерфейсом​

По умолчанию Playwright запускает браузеры в безголовом режиме. См. в нашем руководстве Запуск тестов, как запускать тесты с интерфейсом.

На Linux-агентах выполнение с интерфейсом требует установки Xvfb. Наш Docker-образ и GitHub Action имеют предустановленный Xvfb. Чтобы запустить браузеры в режиме с интерфейсом с Xvfb, добавьте xvfb-run перед фактической командой.

xvfb-run npx playwright test