在Midjourney中常用的激活函數包括：
ReLU（Rectified Linear Unit）：f(x) = max(0, x)，是目前使用最廣泛的激活函數之一，具有快速收斂和解決梯度消失問題的優點。
Sigmoid函數：f(x) = 1 / (1 + e^(-x))，將輸入映射到0到1之間，常用于二分類問題。
Tanh函數：f(x) = (e^(2x) - 1) / (e^(2x) + 1)，將輸入映射到-1到1之間，適用于中間層的激活函數。
Leaky ReLU：f(x) = max(ax, x)，其中a是一個小于1的常數，解決了ReLU在負數部分導致的神經元死亡問題。
ELU（Exponential Linear Unit）：f(x) = x if x > 0, f(x) = a(e^x - 1) if x <= 0，具有ReLU的優點，并且對負數部分有較小的輸出。
這些激活函數可以根據具體的任務和模型選擇合適的激活函數來提高模型的性能和收斂速度。
