CircleCIでdotnet testが遅い問題と対処方法

この記事は、C# その2 Advent Calendar 2019の一日目の記事です。

https://qiita.com/advent-calendar/2019/c-sharp-2

C# で書いたアプリをLinuxやコンテナ環境で動かすことも当たり前になりました。コンテナイメージを作成するのにCircleCIは非常に便利な機能が多く、私も多くの場面でCircleCIをCI環境として第一に選ぶことが多いです。

さて、CircleCIでdotnet sdkを使ってDocker imageでビルドを行っていると、「ローカルにて1秒で終わるテストが30秒余りかかったりタイムアウトする」状況に出会うことがあります。

今回はこの「CircleCIでdotnet testの実行が遅い問題」をどうすればいいかみましょう。

概要
環境
dotnet test で行っていること
どのような問題なのか
コミュニティの状況
対処法法
改善結果
結論

概要

dotnet testの実行時に< /dev/null付けて標準入力にnullを与えることでCircleCIでのみテストが遅い問題を解消する。

ローカルでは早いテストがCircleCIでのみ遅い状況になった場合は、dotnet test < /dev/nullとしてみて下さい。

手元では次のグラフのように20秒程度改善し、restore/buildを含めると妥当な実行時間になりました。

.NET Core 3.0 dotnet test compare on CircleCI

環境

CircleCIでのdotnet coreビルドなので、Docker Imageで行います。ビルドする環境なので、dotnet core sdkイメージ上でdotnet testを実行します。

dotnet core: 3.0 ¹
Docker Image: mcr.microsoft.com/dotnet/core/sdk:3.0

dotnet test で行っていること

先にdotnet testが行っていることを把握しておきましょう。

dotnet testコマンドは、まだビルドしていないプロジェクトの場合は、restore + build + testが実行されます。

もし事前にrestoreやbuildを行っている場合、それぞれオプション引数の--no-restore、--no-buildを使うことでスキップできます。

これらのオプションを指定した場合、nuget packageが restoreされていない、テストに利用する対象 dll といったスキップするべきではない状況ではテストが失敗するので使いどころは選びます。

dotnet test command - .NET Core CLI | Microsoft Docs

つまり、もしCircleCIでテストが時間かかると思っても、restore / buildの分は当然時間がかかります。

この記事の問題は、testで時間がかかることは把握できている状況です。

どのような問題なのか

.NET Core 3.0のC# プロジェクトで、ローカル環境のdotnet testやVisual StudioのTest Explorerで実行してみると1sec以内に終わるテストがあるとします。このテストを、CircleCIのDockerイメージ上でdotnet testすると数十秒余計に時間がかかります。これが問題です。

なお、dotnet SDKバージョンによっては即時に終わる中身のないテストであってもdotnet testが終わらずタイムアウトします。(CircleCIの無出力時のデフォルトタイムアウト10min以上かかっても終わらない)

CircleCIのconfig.ymlは次のようなニュアンスのものです。

version: 2.1

executors:
  dotnetcore3:
    docker:
      - image: mcr.microsoft.com/dotnet/core/sdk:3.0
    environment:
      DOTNET_SKIP_FIRST_TIME_EXPERIENCE: "true"
      NUGET_XMLDOC_MODE: skip

workflows:
  dev:
    jobs:
      - build

jobs:
  build:
    executor: dotnetcore3
    steps:
      - checkout
      - run: dotnet build
      - run: dotnet test -c Debug