引述《ethan0221 (Ethan)》之铭言： : Derive the distribution (pdf) of the r-th power y of a normally distributed : random variable x, that is, y=x^r, x ~ N(μ, σ2). Assume r > 0. What happens : if r = 0 or r < 0? What is E(1/x) if x is normal? Then find the mean of x^r : using the approximation by the delta method. What is required for the delta : method approximation to be valid? 分几个问题: (1) r > 0 时 (2) r ≦ 0 (3) E[1/X] (4) Delta method (1) r > 0 时 首先, x^r 必须能定义狂所有 x in R, 至少是 almost everywhere. 因此, r 必须是整数, 或特定的有理数, 如 k/3, k/5 之类的, 其中 k 是整数. 一般地说, 如果 r 不是整数, 而其最简分数 q/p 之分母 p 是奇数, 则 x^r 除了 r < 0 时在 x = 0 无定义之外, 都有定义. h(x) = x^r, x in R 有可能是偶函数也有可能是奇函数. 当 r 以整数或最简分数表现, 其分子是偶数时, 则 h(x) 是偶函数; 当 r 是奇整数或其最简分数的分子是奇数时, 则 h(x) 是奇函数. 限制 r > 0 时, h(x) 在 x ≧ 0 部分是严格递增的, 因此, 如果它 是奇函数, 则它在整个定义域 (R) 上是严格递增的, 所以是一对一. 同果 h(x) 是偶函数, 把 R 分 x≧0 和 x<0 两部分, 则它在这两部 分分别是一对一的. X^r 之机率分配推导, 最基本的有分配函数法和 Jacobian 法. (a) h(x) 是奇函数时, 设 t ≧ 0, 则 P[X^r ≦ t] = P[X ≦ t^(1/r)] = ∫_(-∞,t^(1/r)] f(x) dx 其中 f(x) 是 X 的 p.d.f. t < 0 则 P[X^r ≦ t] = P[(-X)^r ≧ (-t)] = P[-X ≧ (-t)^(1/r)] = P[X ≦ -(-t)^(1/r)] = ∫_(-∞,-(-t)^(1/r)] f(x) dx Jacobian 法是针对 p.d.f. 直接变换: h 的反函数是 h^(-1)(y) = y^(1/r) if y ≧ 0, = -(-y)^(1/r) if y < 0. 故其 Jacobian, 在 1 variable 即导数, 是 J(y) = (h^(-1))'(y) = (1/r)|y|^(1/r -1) 所以, X^r 的 p.d.f. 是 g(t) = f(h^(-1)(t))|J(t)| = {(1/r)t^(1/r-1)/[√(2π)σ]}exp{-(t^(1/r)-μ)^2/(2σ^2)} if t ≧ 0; = {(1/r)(-t)^(1/r-1)/[√(2π)σ]}exp{-[-(-t)^(1/r)-μ]^2/(2σ^2)} if t < 0. 事实上 h(x) 为奇函数时, 依前面所述可知 1/r = p/q, q 是奇数, 因此 h 的反函数可直接写 h^(-1)(t) = t^(1/r), 且此也是奇函数, 其导函数是偶函数 (除了 0 以外). 故 P[X^r ≦ t] = P[X ≦ t^(1/r)] = ∫_(-∞,t^(1/r) f(x) dx, 其 p.d.f. 也可简单写 g(t) = {(1/r)|t|^(1/r-1)/[√(2π)σ]}exp{-(t^(1/r)-μ)^2/(2σ^2)} all t in R-{0}. (b) h(x) = x^r 为偶函数时, h(x) ≧ 0, 也就是说 X^r 非负. P[X^r ≦ t] = P[-t^(1/r) ≦ X ≦ t^(1/r)] = ∫_[-t,t] f(x) dx, when t ≧ 0, = 0 when t < 0. h 的局部反函数是 h^(-1)(t) = t^(1/r) if t = h(x), x ≧ 0; = -t^(1/r) if t = h(x), x < 0. 所以两部分 Jacobian 的绝对值形式都是 (1/r)t^(1/r-1). 故 X^r 之 p.d.f. 为 (1/r)t^(1/r-1)f(t^(1/r)) + (1/r)t^(1/r-1)f(-t^(1/r)) = {(1/r)t^(1/r-1)/[√(2π)σ]} × ([exp{-(t^(1/r)-μ)^2/(2σ^2)}+exp{-(t^(1/r)+μ)^2/(2σ^2)}) (2) r ≦ 0. 当 r = 0 时, h(x) = 1 for all x≠0, 所以, 除非 X = 0 with probability 则 X^r 限入定义困境, 否则 P[X^0 = 1] = 1. 当 r < 0 时, h(x) = x^r 在 x≠0 只要 x^(-r) 有定义则 h(x) 有 定义, 事实上 h(x) = 1/x^(-r). 这表示: (i) r 必须是负整数或最简分数为 -q/p, 其中 p 为奇数. (ii) h(x) (除 x=0 之外) 可能是偶函数或奇函数. (iii) 在 x > 0 时, h(x) 是严格递减的. x → +∞ 时 h(x)→0. 当 x → 0+ 时 h(x) → +∞. 至於 x < 0 的图形特性, 根据 h(x) 是奇或偶, 及 h(x) 在 x > 0 之表现. 易知. 钦求 X^r 之机率分配, Jacobian 法变换 p.d.f. 是比较简单的. 当 h(x) 是奇函数时, 它是一对一的, 其反函数是 h^(-1)(t) = t^(1/r), t≠0 Jacobian 为 (1/r)t^(1/r-1), 故 X^r 之 p.d.f. 为 g(t) = {(-1/r)|t|^(1/r-1)/[√(2π)σ]}exp{-(t^(1/r)-μ)^2/(2σ^2)} all t in R-{0}. 当 h(x) 是偶函数时, 仍是分 x≧0 与 x<0 两部分转换、加总. (3) E[1/X] = ∫_(-∞,∞) (1/x) f(x) dx = ∫_(-∞,∞) t g(t) dt. 从 X 之 p.d.f. f(x) 来看, 在 0 附近 f(x) 接近正数 {1/[√(2π)σ]} e^{-μ^2/(2σ^2)} 但 1/x 在 0 附近的积分发散, 或说不存在. 当然也可先得到 1/X = X^(-1) 的 p.d.f. g(t) = {1/[√(2π)σt^2] e^{-(1/t -μ)^2/(2σ^2)} 而後讨论 ∫_(-∞,∞) t g(t) dt 的歈散问题. 对此积分式, 我们 可以发现当 t → ±∞ 时, (g(t) 的) 指数部分趋近於一个正常数 e^{-μ^2/(2σ^2)}, 但 ∫_[M,+∞) t/t^2 dt 是发散的, 因此 ∫_(-∞,∞) t g(t) dt 是发散的. 也就是说 E[1/X] 不存在. (4) Delta method 是一种近似法, 通常是用在所谓 "大样本理论". 简言之, 依中央极限定理知在适当条件下 Y_n = (X_1+...+X_n)/n asym. d. as N(μ,σ^2/n) for large n. 考虑一可彻分一对一变换: W_n = h(Y_n), 则 W_n asymptotically distributed as N(h(μ), (h'(μ))^2 σ^2/n) 在省略掉样本数 n 及 "大样本" 论述, 可以说: 在 (X 的机率分配) N(μ,σ^2) 中, 若 σ << |μ|, h(x) 是一可微分一对一变换, 则可以用 N(h(μ),(h'(μ))^2 σ^2) 近似 h(X) 的机率分配. 这是因为: 在 μ 邻近, h(X) ≒ h(μ) + h'(μ)(X-μ) 依此, X^r ≒ μ^r + nμ^(r-1) (X-μ) 所以 E[X^r] ≒ μ^r = (E[X])^r 但由 E[X^r] = E[(X^(r/2))^2] > (E[X^(r/2)])^2, 反过来说 (E[X^r])^2 < E[X^(2r)] 可知实际上除了 r = 1 以外, E[X^r] ≠ (E[X])^r. 回顾 delta method 的条件, 最基本的需要 σ << μ. 这个条件是 很模糊的. 事实上, 若 h 可二次微分, 由二阶 Taylor's expansion, h(X) = h(μ) + h'(μ)(X-μ) + 0.5 h"(ζ(X))(X-μ)^2 for some ζ(X) between μ and X. 此处 ζ(X) 的 "for some" 是指 "存在" 这麽一点介於 μ 和 X 之 间, 但并不确知在哪里. 所以 delta method 采用一阶近似, 除非 h"(ζ)(X-μ)^2 保证够小, 否则计算结果可能没什麽参考价值. 以 h(x) = x^r 来说, 就是 r(r-1)(ζ(X))^(r-2)(X-μ)^2 保证够小. 那麽, 我们需要的就是 r(r-1)X^(r-2)(X-μ)^2 , r(r-1)μ^(r-2)(X-μ)^2 都保证够小. 理论上是不可能的, 因为常态分配在整个 R 上都未消失, 我们只能期望止列二阶项 "几乎" 都很小. 如果对 Taylor's 二阶展式的 (X-μ)^2 项取期望值, 则易知至少 r(r-1)μ^(r-2)σ^2 = r(r-1)μ^r(σ/μ)^2 要够小. 这也是前面说至少 σ << μ 的理由之一. --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 1.165.122.98 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Math/M.1599536022.A.121.html