単位根を持つ時系列の例 を可視化、および階差をとって可視化してみる。時系列データ分析p.98 より。 一次元ランダムウォーク 一次元ランダムウォークの階差 ADF検定の結果 ADF検定は単位根の有無を検定するもので、帰無仮説は「データ系列に単位根が存在す…

統計学実践ワークブックのp.248の表を、グラフにて確かめる。表27.1の内容を一部引用。 選択モデル 自己相関係数 偏自己相関係数 AR(1) ゆっくりと減衰 2次以降0 MA(1) 2次以降0 ゆっくりと減衰 AR(2) ゆっくりと減衰 3次以降0 MA(2) 3次以降0 ゆっくりと減…

gihyo.jp ということで、本書に出てくる統計的仮説検定をまとめます。 Shapiro-Wilkの検定 データが正規分布に従っているか否かの検定 正規性の検定 帰無仮説：対象データが正規分布に従う p.61 連の検定 ２値のデータの並びについて規則性の有無を確かめる…

ワークブックp.243にある、AR(1)過程を４つ描画します。 AR(1)過程とは 時点t = 1,2, ... , T について といったモデル。ここでははホワイトノイズ()です。 ソースコード # AR(1)過程を生成する genAR1 <- function(Y,Y_1,constant,phi_1){ Y[1] <- Y_1 for …

データとデータを併合し、クラスターを形成したい。どのデータとデータをクラスターと認定するかは、データデータ間の距離が小さいもので決めるとする。 ところで、データとデータは距離が計算できるものの、データとクラスター或いはクラスターとクラスター…

久しぶりに条件付き確率(ベイズの定理)が出てきて分からん！って感じでした。 問題文の一部 を云々。 ポイント(復習) をカテゴリ、 をデータとする時、ベイズの定理よりと表すことができる。 式変形の過程 (2)を用いて(1)を式変形すると、となる。ここで、 …

# 統計学実践ワークブック #### # 第20章 分散分析と実験計画法 #### # pp.167-172 # 参考 # https://www1.doshisha.ac.jp/~mjin/R/Chap_13/13.html # [p.167]表20.1 #### A1 <- c(9.7,8.7,10.2,11.3,11.2,11.7) A2 <- c(9.8,11.8,13.1,10.9,11.3,10.3) A3 <…

第18章 質的回帰 データの引用元 統計学実践ワークブック pp.152-153 # 問18.1 #### # データ LIs <- c(8,10,12,14,16,18,20,22,24,26,28,32,34,38) Kanja <- c(2,2,3,3,3,1,3,2,1,1,1,1,1,3) Kankai <- c(0,0,0,0,0,1,2,1,0,1,1,0,1,2) # 加工 LI <- rep(LI…

単語集 単語 意味 補足 監基報530 監査基準委員会報告書530 監査サンプリングについての記載がある。 逸脱 不備や例外を表していると思われる。 n サンプルサイズ 監基報530ではサンプル数と書かれている。 k サンプル内の逸脱件数 pT 許容逸脱率 想定する母…

統計学実践ワークブック第15章にて、"指数分布(λ)はガンマ分布(1, 1/λ)である"、というワンフレーズでつまずいたので、 復習を兼ねてポエムです。なお、以下の議論において、厳密性は度外視している。 ガンマ関数 定義 性質1: Γ(1) = 1 性質2: Γ(s) = (s-1)Γ…

統計学実践ワークブック問14.2より。 問題の概要 状態空間S = {1,2,3} マルコフ連鎖 X = (Xn)を以下に定める Xが状態iにあるとき、カードを１枚ランダムに引く。取り出したカードが a_i であれば状態iにとどまる a_j であれば 確率c_ij = min( j/i, 1 ) で状…

二項分布の正規近似は闇が深いっぽいので、深追いせず流れだけを書いておくメモです。 ↓↓ 正規近似 as n→∞↓ 実はここで色々厄介な近似をしているらしい。↓ たとえばスターリングの公式など。↓↓ ↓↓ Xを標準化(平均値引いて標準偏差で割る)↓↓ ↓↓ 確率変数の分…

統計学実践ワークブックの問6.1〔4〕は、いわゆる切断正規分布の問題である。このキーワードでググると良い。 なお、期待値を求めるために確率変数 のモーメント母関数を計算しようとすると怪我をする？ので、素直に から定義通り期待値を求めましょう。 202…

厳密さを捨てて大略理解できれば良いぐらいの証明です。 準備 正規分布のモーメント母関数 確率変数 が に従う時、モーメント母関数 は、 とくに、のとき、 指数関数の底eの極限 テイラー展開 とくに、 逆数 中心極限定理 示したいこと 確率変数 が平均、分…

統計学実践ワークブック問5.5より。 問題の概要 4種類のカードを等確率無作為復元抽出で引く。 [1] 4種類のカードを全て揃えるまでの、回数の期待値 [2] あらたに5種類目のカードが追加されたとする。 x: はじめの4種類を集めてから、追加の5種類目を揃える…

統計学実践ワークブック問4.2より。指数分布の和の分布を求めた時の教訓・感想です。 オチ・教訓・流れ 指数分布は再生性を持っていない 指数分布のモーメント母関数を求めて掛け算しても、元の分布がよく分からない形に。。 なので畳み込み積分で和の分布を…

問題文 リンクが切れていないなら問題文を参照。 解く時の気持ち Lassoのことをチョット知っているぐらいのお気持ちで、 機械学習ガチ勢ではなく「統計検定準1級目指してるけど機械学習よくわからん」なスタンスです。 問題の大雑把な概要 中性子の月次カウ…

以下のような二変量正規分布を考える。 ここで、 というZについて、 を計算すると、 となる。 ゆえにX,Y,Zは正規分布に従う確率変数であることから、ZとYは共分散が0⇔ZとYは独立となる。 次に、 ] を計算する。ここで を用いると、 となる。*1 最後に、 ] を…

適合度検定 :: 株式会社アイスタット｜統計分析研究所より「適合度の検定（正規性）の結果」をRにて計算してみる。 # パラメータ#### # 平均 m1 <- 64.5 # 標準偏差 sd1 <- 13.41 # 度数の総和 n <- 40 # 関数 #### # 区間a<x<bにおける標準正規分布に従うXの確率、を返す関数 f <- function(l,h){ pnorm(h,m1,sd1) - pnorm(l,m1,sd1) } # データ # 観測値：observed #### c(2,4,7,13,10,3,1) -> obs # 期待度数expected #### n *</x<bにおける標準正規分布に従うxの確率、を返す関数>…

準1級 例題／解説 の問2より。 ある地域における１日の死亡者数の集計結果表 １日の死亡者数Xがパラメータλのポアソン分布に従うと仮定する。ある日の死亡者数が3人である確率は？ に於いて、λ=3を代入すればよい。 同分布を仮定した時、E[X2] とλの関係は？…

Anacondaが重かったりアンインストールが面倒くさかったりなんだりで宗教的にAnacondaは受け付けない・・・という人向けのメモです。 環境 mac python /usr/local/bin/python3.8 Juliaのインストール 公式サイトからダウンロードしてインストール https://ju…

厳密ではないが、カイ二乗分布の再生性やコクランの定理から言えるのではないでしょうかね(無責任)。 導出 Xᵢ ~ N(μ,σ²)に従うiid確率変数とする。 このとき、Zᵢ = (Xᵢ-μ)/σと変換すると、 Z²=ΣZᵢ² over 1 to nはχ²(n) に従う。 ここで、 Σ(Xᵢ-μ)² = Σ{(Xᵢ-X…

スマホで文字打ち込んでいるのでLaTeXに出来ませんがまぁご愛嬌。 ポアソン分布の確率関数 Pr(X=k) = exp(-θ)θ^k/k! ただしk は0以上の整数 ポアソン分布の期待値 E[X] = θ ポアソン分布の期待値の導出 overはΣの添字が走る範囲です。またexp(θ)=Σθ^h/h! ove…

あけましておめでとうございます今年も統計学とRの勉強を継続します。 ということで、いつもの通り(?)Yuyaさんの動画にて階層的クラスタリングを見たので、Rを使ってクラスタリングしてみます。 www.youtube.com コード # データの準備 dd <- data.frame( ht…