Goのテストのお手軽分割実行gotesplit

開発×テスト LT会 - vol.2

Mar 15th, 2022

Me

• id:Songmu (ソンムー)
• Masayuki Matsuki / 松木雅幸
• Launchable / プリンシパルソフトウェアエンジニア
• おそらくはそれさえも平凡な日々 https://www.songmu.jp/riji/
• https://metacpan.org/author/SONGMU
• 60+ CPAN Modules / 200+ GitHub repositories
• 3 Times ISUCON Winner
• 「みんなのGo言語」共著者
• ghqメンテナ

Launchable

テストの会社から来ました

Launchable

https://www.launchableinc.com/

• ソフトウェアテストの実行を機械学習で効率化する
• Jenkins生みの親の川口さんが創業者で代表の一人

Goのテストのお手軽分割実行

• gotesplit
• https://github.com/Songmu/gotesplit
• https://songmu.jp/riji/entry/2020-10-23-gotesplit.html

スローテスト問題

• LaunchableはAIの力で解決しようとしている
• 私はテストプロセスを分割してしまうという力技によって解決を試みた
  • 分割して複数のプロセスやコンテナで動かせるようにする
  • → テストケースを複数のサブセットに分割して独立して動作させる
• 以前の職場のテストを20分から5分弱にまで短縮
  • (計算資源の節約にはなっていない)

各SaaSのジョブの並列実行機構

• CircleCIの場合
  • https://circleci.com/docs/2.0/parallelism-faster-jobs/
  • 設定に parallelism を指定する
• GitHub Actionsの場合
  • build matrixを利用すれば実現可能
  • https://docs.github.com/en/actions/using-jobs/using-a-build-matrix-for-your-jobs#defining-the-maximum-number-of-concurrent-jobs-in-a-matrix

ただし、このままだと単にフルテストがそれぞれのジョブで走るだけ。

gotesplitコマンド

% gotesplit [options] [pkgs...] [-- go-test-arguments...]
% gotesplit -junit-dir=~/junit -total=5 -index=0 ./... -- -v

• totalとindexオプションで分割数とサブセットのインデックスを指定
• JUnitのXMLを吐くことも可能
• ダブルダッシュ -- の後に任意の go test のオプションも指定可能
• このコマンド自体は単にサブセットを動かすだけ
  • 並列で複数テストプロセスを動かしてくれるわけではない

インストール

% go install github.com/Songmu/gotesplit/cmd/gotesplit@latest
% curl -sfL raw.githubusercontent.com/Songmu/gotesplit/main/install.sh | sh -s

CircleCIへの導入

version: 2.1
jobs:
  test:
    parallelism: 5
    docker:
      - image: golang:1.17.8
    steps:
      - checkout
      - run:
          command: |
            curl -sfL raw.githubusercontent.com/Songmu/gotesplit/main/install.sh | sh -s
            bin/gotesplit -junit-dir=~/junit ./... -- -v
      - store_test_results:
          path: ~/junit

• -total や -index 引数は不要。(CIRCLE_NODE_TOTAL 及び CIRCLE_NODE_INDEX を見ている)
• JUnit XMLを吐いておくと、CircleCIのTest Insightで使ってくれる

GitHub Actionsへの導入

name: CI
on: [push, pull_request]
jobs:
  build:
    runs-on: ubuntu-latest
    strategy:
      fail-fast: false
      matrix:
        parallelism: [5]
        index: [0,1,2,3,4]
    steps:
      - uses: actions/setup-go@v2
      - uses: actions/checkout@v2
      - name: Run tests parallelly
        run: |
          curl -sfL raw.githubusercontent.com/Songmu/gotesplit/main/install.sh | sh -s
          bin/gotesplit -total ${{ matrix.parallelism }} -index ${{ matrix.index }} ./... -- -v

サブセット分割ロジック

1. go test -list . $pkg でテストケース(関数) 一覧を抽出
2. 1で取得したテストケースを分割
3. 2で分割されたテストケースからgo test -run に指定する正規表現を組み立てる
   • ex. ^(?:TestAAA|TestBBB|TestCCC)$
4. 3の正規表現を指定して go test を実行
   • ex. go test -run '^(?:TestAAA|TestBBB|TestCCC)$'
   • go test には正規表現指定で一部のテストを実行する機能が標準で存在

想定問答

テストファイルの分割ではダメだったのか？

• hoge_test.go を複数羅列指定する方法もあるが、好ましくない
• 他のテストファイルに書かれている TestMain や init を動かしてくれない
  • 初期化やセットアップが走らず意図せぬ挙動になりがち

パッケージの分割ではダメなのか？

• これは別に構わない
• gotesplitはパッケージの中で更に細かくサブセットを切りたいときに使う
• ただ、実際問題Goではそこまでパッケージを細かく切らないので、一つのパッケージ単体でテスト時間が長くなることもある

t.Parallel ではダメなの？

• 併用すると良い
• インプロセスの中でテストを並列で動かせるようにするのは良いプラクティス
  • ただ、そこまで頑張りすぎない方が良い、とも思っている
    • 例えば、Goの場合内部的にグローバルな共有資源にアクセスさせるようなことは結構ある
    • それらをテスト時に差し替えたい場合、 t.Parallel 対応は無駄に複雑になる可能性も
• os.Chdir などは t.Parallel 時に上手く動かない(当たり前)
• 外部資源などは単純に分散実行させたほうが都合が良い時もある
  • DBコンテナに依存するようなテストの場合、サブセット毎にDBコンテナを立てられる
• t.Parallel 対応をしなくても単純にテストを分割・分散実行できるとも言える

テストカバレッジを取りたい

• その機能はありません
• 分割実行想定なのでトータルの結果は取れない
• カバレッジ取りたい場合、一般的に都度取る必要は余り無くて、Nightlyなどで回すといいと思っている

今後の展望

単純なツールとしては完成されている。

• サブセット分割ロジックのカスタマイズ
  • 今は素朴にテストケース名順のサブセット分割
  • ヒントを与えて、テスト実行時間をもとに分割ロジックを組めるとか
• 分散実行されたテスト結果のマージ機能
  • JUnit XML
  • テストカバレッジ
• 今は単にサブセット分割だが、並列実行の仕組みを単独で持たせても良いかもしれない
  • ただ、デモ的な用途でしか役には立たなさそうではある

宣伝

• gotesplit是非ご利用ください
• OSSの個人スポンサーしてもらえると嬉しいです
  • ghq handbook
  • GitHub Sponsors
    • ワンショットSponsorもあります