シェーダーとは実際には何なのか
シェーダーとは、一度だけ呼び出す関数ではなく、GPUが実行する小さなプログラムです。の場合、 そのプログラムは描画される領域内のすべてのピクセルに対して、毎フレーム、 ピクセル単位で一度実行されます。
AGSL(Android Graphics Shading Language)はAndroidのシェーダー言語です。
これは新しい発明ではなく、の制約された方言であり、
SkSL自体もGLSL ESに近いものです。これは単純な文字列として書き、
RuntimeShaderで実行時にコンパイルし、ComposeがBrushやRenderEffectを
期待する場所であればどこでもその結果を使用できます。
直感的な理解
シェーダーを、一度設定して画像全体に適用するフィルターだと想像しがちです。
BlurEffectやColorMatrixがそうであるように。しかし、シェーダーはそういうものではありません。
むしろ、画像の存在すら知らない関数に近いものです。
- GPUはシェーダーの
mainを、描画領域内のすべてのピクセルに対して個別に、 並列に呼び出します。呼び出し間に順序の保証はありません。 - 各呼び出しが知っているのは自分自身のピクセル座標と、描画呼び出しの前に 渡されたの値だけです。 隣接するピクセルを読み取ったり、画像全体をループしたり、隣のピクセルや 前のフレームから何かを記憶したりすることはできません。
- シェーダーが自分の座標以外に「見る」もの、テクスチャ、グラデーション、 前のフレームの出力などは、すべて明示的にサンプリングする必要があります。 呼び出し間で暗黙的に共有されるものは何もないからです。
これがすべての心構えの転換です。シェーダーは一つのピクセルの色を、 その座標とuniformの純粋な関数として記述し、GPUはその記述を 1フレームに何百万回も実行するものなのです。
最小のAGSLシェーダー
ここでは、アニメーションするプラズマフィールドを描くフラグメントシェーダーを示します。
各ピクセルの位置と現在時刻から色を計算し、連続的に移り変わる帯へと
再構成します。Brush.radialGradientは静的なビネットを模倣できますが、
Brushにあるものではこれを模倣できません。なぜなら、すべてのピクセルの色は
位置と時間という2つの入力の非線形関数であり、GPUが毎フレーム
再計算するからです。AGSLのソースは文字列であり、他のKotlinの文字列リテラルと
何も変わりません。
private const val PLASMA_SHADER = """
uniform float2 resolution;
uniform float time;
half4 main(float2 fragCoord) {
float2 uv = fragCoord / resolution;
float wave = sin(uv.x * 10.0 + time) + cos(uv.y * 10.0 - time * 1.3);
float3 color = 0.5 + 0.5 * cos(float3(wave, wave + 2.0, wave + 4.0));
return half4(color, 1.0);
}
"""mainが実際に受け取るものに注目してください。この呼び出しが担当する
ピクセルであるfragCoordだけで、他には何もありません。resolutionも
timeも自動的に設定されるものではなく、どちらも自分で設定することが
期待されているuniformです。シェーダーには「自分が描画している対象の
サイズ」や「アプリが起動してからの経過時間」といった組み込みの概念は
存在しないからです。
これをComposeに組み込むには、RuntimeShaderで一度だけコンパイルし、
サイズが変わったときのresolutionと毎フレームのtimeという両方の
uniformを最新の状態に保ち、その結果をBrushを受け取るAPIに渡します。
if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.TIRAMISU) {
val plasmaShader = remember { RuntimeShader(PLASMA_SHADER) }
val elapsedSeconds by produceState(0f) {
val start = withFrameMillis { it }
while (true) {
withFrameMillis { value = (it - start) / 1000f }
}
}
Box(
modifier = Modifier
.fillMaxSize()
.onSizeChanged { size ->
plasmaShader.setFloatUniform(
"resolution",
size.width.toFloat(),
size.height.toFloat(),
)
}
.drawBehind {
plasmaShader.setFloatUniform("time", elapsedSeconds)
drawRect(brush = ShaderBrush(plasmaShader))
},
)
}RuntimeShaderはAGSLのソースを即座にコンパイルするため、シェーダー文字列の
タイプミスは構築時にスローされ、描画時ではありません。ShaderBrushは
それをComposeに橋渡しするものです。Brushを実装しているため、
Brushで描画するもの(background、Canvas.drawRect、Textの色)は
すべて、単色やグラデーションの代わりにシェーダーで描画できます。
基本原則
シェーダーはデータ並列で、ステートレスな、ピクセル単位のプログラムです。 「データ並列」とは、同じプログラムが一度に多くのピクセルに対して 独立して実行されることを意味し、一つずつループするのではありません。 「ステートレス」とは、各呼び出しがまっさらな状態から始まることを意味します。 他のピクセルの記憶も、前のフレームの記憶もありません。明示的にuniformや サンプリングしたテクスチャとしてフィードバックしない限りは。
実際のアプリでこれがどこに現れるか
上のプラズマフィールドは意図的に作ったおもちゃです。しかし、同じ ピクセル単位のモデルは、すでに実装されているエフェクトの背後で 実際に動いているものです。
- フロストガラス / 背景ブラーのダイアログ: シェーダーが背後にある
もののスナップショットをサンプリングし、ピクセル単位でブラーをかけます。
これはAndroid 12以降のダイアログや通知シェードのブラーが
RenderEffectの下で動作する仕組みです。 - カラーグレーディングとLUTフィルター: 各ピクセルのRGBが
ルックアップ関数を通して再マッピングされます。これはInstagramや
Lightroom風のフィルターが使っているのと同じ考え方で、固定の
ColorMatrixの代わりにAGSLの数式として表現されているだけです。 - タッチリップルと歪みフィードバック: シェーダーが、タッチからの
距離と経過時間から計算されたオフセットで自身のコンテンツシェーダーを
サンプリングし、指が動くにつれて水の波紋のような「ぎゅっと歪む」
効果を生み出します。これはカスタムのプル・トゥ・リフレッシュや
リキッドスワイプのインタラクションの背後にある同系統のエフェクトです
(Androidの組み込みの
RippleDrawableではなく、これは単純な円形の アルファ表示でシェーダーは関与していません)。 - プロシージャルテクスチャとグレイン: 背景、ノイズ、ディザパターンが 描画時に純粋な数式から生成されます。この記事のプラズマフィールドのように。 スケーリングやタイリングが必要なビットマップアセットを配布する 代わりにです。
- 色収差とグリッチエフェクト: 赤、緑、青の各チャンネルが わずかに異なる座標オフセットでサンプリングされます。カメラや 写真編集アプリでよく使われるスタイル効果です。
これらはすべて、この記事と同じ心的モデルを異なるピクセル単位の関数に
適用したものです。変わるのはmainの中の数式だけです。
他の場所でも:同じ基本原則、異なるフレームワーク
- GLSL(OpenGL/WebGL): AGSLとSkSLの両方が由来するシェーディング言語。
WebGLのフラグメントシェーダーの
void main()がgl_FragColorに書き込むのは、 まったく同じピクセル単位・ステートレスなモデルで、RuntimeShaderの 代わりにOpenGLのバインディング規約を使っているだけです。 - HLSL(Direct3D、Unity): 同じピクセル単位のエントリーポイントで、
構文とバインディングモデルが異なるだけです。Unityのフラグメントシェーダーの
frag関数は補間されたピクセル単位のデータを受け取り、色を返します。 AGSLのmainがやっているのとまったく同じ方法で。 - Metal Shading Language(iOS/macOS):
fragmentという注釈が付いた関数で、 ピクセル/フラグメントごとに一度実行され、必要なものはすべて 明示的な引数として読み取ります。隣接する出力への暗黙的なアクセスは ありません。 - SkSL(Skia): 類似物というだけでなく、AGSLの実際の親です。 SkiaはSkiaが内部的に自身のエフェクトのためにSkSLを使用しており、 AGSLはアプリコードに公開された、やや制限された公開サブセットです。
実際につまずきやすいところ
- API 33未満ではコンパイル時ではなく実行時にクラッシュします。
RuntimeShaderはAndroid 13(Tiramisu)を必要とします。古いminSdkで これを呼び出してもコンパイル時の警告はなく、クラッシュはそのコードパスが 最初に実行されたときにのみ発生します。そのため、Build.VERSION.SDK_INTの チェックは省略可能なボイラープレートではなく、必須のものです。 - シェーダーはコンパイルできるが、出力が黒や完全に透明になる。
最もよくある原因は、手を付けていないuniformです。
resolutionはsetFloatUniformを呼ぶまで(0, 0)のままなので、最初の描画の後ではなく 前に設定しないと、最初のフレームでfragCoord / resolutionがゼロ除算に なります。 - AGSLはデフォルトで完全な
float精度を使用し、GLSL ESのmediumpとは 異なります。 意図的なバンディングやラップアラウンド効果のためにmediump floatの狭い範囲に依存しているGLSL ESのフラグメントシェーダーを 移植する場合、より広いデフォルト精度を明示的に考慮しない限り、 AGSLでは同じアーティファクトは再現されません。
実際に使うべき心的モデル
「このシェーダーは何を見ているか」と問うのをやめましょう。代わりに こう問いかけてください。「この一つのピクセルは何を知っているか」。 シェーダーは画像、画面、前のフレームを決して見ることはなく、 自分自身の座標と、設定することを覚えていたuniformだけを見ています。 これこそが、1フレームに百万回実行してもお互いに干渉し合わない理由 そのものです。



