axjack's blog

### axjack is said to be an abbreviation for An eXistent JApanese Cool Klutz ###

統計学実践ワークブック

統計学実践ワークブック第29章:不完全データの統計処理〜切断正規分布の期待値と分散〜

統計学実践ワークブックのp.281あたりです。 補助公式 以下が成り立つため、標準正規分布の確率密度関数を用いても以下が成り立つ 問題 確率変数の確率密度関数が と与えられる時の期待値・分散を求めよう。 期待値 は、となる。 分散 より、を計算すると、…

統計学実践ワークブック第3章:分布の特性値〜繰り返し期待値の法則および繰り返し分散の法則〜

統計学実践ワークブックのp.17です。ふわっと証明します。 繰り返し期待値の法則 証明 繰り返し分散の法則 証明 参考 en.wikipedia.org en.wikipedia.org

統計検定準1級(CBT)に合格したので勉強法やら書籍やらを書いておきます。

ギリギリですが合格しました。#統計検定準1級 pic.twitter.com/RVCSsQhUpB— Satoaki Noguchi (@axjack_) 2023年2月11日 感想 受験に臨むにあたって(勉強以外編) 成績 勉強法 書籍 統計検定特化型の書籍 統計学全般の書籍 買ったけど役に立ったか微妙なライン…

統計学実践ワークブック:第13章 ノンパラメトリック法

Rで実装してみた。 p100~: ウィルコクソンの順位和検定 p102~: 並び替え検定 p102~: ウィルコクソンの符号付き順位和 gist.github.com

統計学実践ワークブック 第1章 事象と確率 問1.3

[解くときのコツ] 問1.3の概要 条件付き確率 定義 亜種と簡単な応用 事象が増えたバージョン 余事象を挿入する その他 解答 [1] [2] 参考 [解くときのコツ] 1段階目 → 解けるけど腑に落ちない 条件付き確率を使った典型例*1ではあるが、やはり難しい。1%とか…

統計学実践ワークブック 第31章 ベイズ法 の例1

問題の概要 設定 普及率p 20世帯中x世帯が保有している pの事前分布にはベータ分布:Beta(2,20)を仮定 問 事後分布を求めよ 回答 ベイズモデルとして考えるとパラメトリックモデルは、 であり、事前分布は、 となる。したがって事後分布はとなる。よって、事…

統計学実践ワークブック 第27章 時系列解析 より、AR(1)過程

AR(1)過程についてまとめます。 共分散定常過程 AR(1)過程 AR(1)過程の期待値 AR(1)過程の分散 AR(1)過程の自己共分散 AR(1)過程 → MA(∞)過程 AR(1)過程のスペクトラムの前に自己共分散母関数 AR(1)過程のスペクトラム 参照参考 共分散定常過程 時系列が、 …

統計学実践ワークブック 第17章 回帰診断法

学習のまとめと例題のデータを使ってRで回帰診断図を出してみました。 学習のまとめ 回帰診断を使う理由 どんな手法を用いて診断するのか 回帰診断図 例1の回帰診断図 問17.1の回帰診断図 データの取得 ソースコード こちらも参考に 学習のまとめ 回帰診断を…

統計学実践ワークブック 第16章 重回帰分析 問16.2を通じて・重回帰分析のスクラッチ実装

重回帰分析は重要と聞くので、念入りに勉強した記録です。 問16.2 問題[1]の要約 解答 問題文のデータセットを使ってRで重回帰分析してみる データ取得 構造確認 重回帰分析の実行 重回帰分析をスクラッチ実装する 変数の準備 例の‪逆行列 各係数を求める 残…

統計学実践ワークブック 第16章 重回帰分析 pp.125-127について、式を導出したり図示したり行間を埋めたりしました。

試験対策だけであったら、ぶっちゃけ重回帰分析した結果(回帰係数、t値、p値、決定係数)が読み解ければ良いと思われる。がしかし、ワークブックpp.125-127にある線形代数的な解釈・幾何学的な解釈の魅力といったらなんとやら。というわけで、行間を埋めた記…

統計学実践ワークブック 第15章 確率過程の基礎 p.119 計数過程としての表現のお気持ちを理解する

理解したいこと ①ある繰り返し起こるイベントに対してn番目の発生時刻をとみれば、は時刻tまでに起こるイベントの回数を表す確率過程とみなせる。 ② ①のお気持ちをくしゃみを通じて理解する ある繰り返し起こるイベント → くしゃみ k番目の発生時刻 → k回目…

統計学実践ワークブック 第15章 確率過程の基礎 p.117のεiの分布を導出する

はてなブログで書こうとしたものの、添字が付いた添字をはてなブログのTeX表記ではできなさそうだったのでSpeaker Deckにアップロードした。 speakerdeck.com

統計学実践ワークブック 第12章 一般の分布に関する検定法 p.92 の尤度比検定を用いる場合の棄却域 を導出する

母比率の検定に関する話題で統計学実践ワークブックp.91は二項分布から話が始まる。そしてp.92にて尤度比検定の話となるが、導出過程は書いていなかったので自力で導出してみることにした。なお以下、二項分布ではなくベルヌーイ分布を用いるのは計算のしや…

統計学実践ワークブック 第12章 一般の分布に関する検定法 問12.2の[4] あてはまりのよさ について

やること 統計学実践ワークブック 第12章 一般の分布に関する検定法 問12.2の[4] あてはまりのよさ について考えてみる。 情報整理 得られたデータについて A) まとめる前 自由度:9 カイ二乗統計量:16.37 P-値:0.05954566 B) まとめた後 自由度:5 カイ二…

ARとMAの自己相関係数と偏自己相関係数

統計学実践ワークブックのp.248の表を、グラフにて確かめる。表27.1の内容を一部引用。 選択モデル 自己相関係数 偏自己相関係数 AR(1) ゆっくりと減衰 2次以降0 MA(1) 2次以降0 ゆっくりと減衰 AR(2) ゆっくりと減衰 3次以降0 MA(2) 3次以降0 ゆっくりと減…

統計学実践ワークブック 第27章 AR(1)過程

ワークブックp.243にある、AR(1)過程を4つ描画します。 AR(1)過程とは 時点t = 1,2, ... , T について といったモデル。ここでははホワイトノイズ()です。 ソースコード # AR(1)過程を生成する genAR1 <- function(Y,Y_1,constant,phi_1){ Y[1] <- Y_1 for …

統計学実践ワークブック 第24章 クラスター分析でのメモ

データとデータを併合し、クラスターを形成したい。どのデータとデータをクラスターと認定するかは、データデータ間の距離が小さいもので決めるとする。 ところで、データとデータは距離が計算できるものの、データとクラスター或いはクラスターとクラスター…

統計学実践ワークブック 第23章 判別分析 問23.3の[1]の判別関数の展開

久しぶりに条件付き確率(ベイズの定理)が出てきて分からん!って感じでした。 問題文の一部 を云々。 ポイント(復習) をカテゴリ、 をデータとする時、ベイズの定理よりと表すことができる。 式変形の過程 (2)を用いて(1)を式変形すると、となる。ここで、 …

統計学実践ワークブック 第20章 分散分析と実験計画法

# 統計学実践ワークブック #### # 第20章 分散分析と実験計画法 #### # pp.167-172 # 参考 # https://www1.doshisha.ac.jp/~mjin/R/Chap_13/13.html # [p.167]表20.1 #### A1 <- c(9.7,8.7,10.2,11.3,11.2,11.7) A2 <- c(9.8,11.8,13.1,10.9,11.3,10.3) A3 <…

統計学実践ワークブック 第18章 質的回帰の問18.1-3のロジスティック回帰分析/プロビットモデルをRで実行

第18章 質的回帰 データの引用元 統計学実践ワークブック pp.152-153 # 問18.1 #### # データ LIs <- c(8,10,12,14,16,18,20,22,24,26,28,32,34,38) Kanja <- c(2,2,3,3,3,1,3,2,1,1,1,1,1,3) Kankai <- c(0,0,0,0,0,1,2,1,0,1,1,0,1,2) # 加工 LI <- rep(LI…

ガンマ関数とガンマ分布についてのポエム

統計学実践ワークブック第15章にて、"指数分布(λ)はガンマ分布(1, 1/λ)である"、というワンフレーズでつまずいたので、 復習を兼ねてポエムです。なお、以下の議論において、厳密性は度外視している。 ガンマ関数 定義 性質1: Γ(1) = 1 性質2: Γ(s) = (s-1)Γ…

マルコフ連鎖

統計学実践ワークブック問14.2より。 問題の概要 状態空間S = {1,2,3} マルコフ連鎖 X = (Xn)を以下に定める Xが状態iにあるとき、カードを1枚ランダムに引く。取り出したカードが a_i であれば状態iにとどまる a_j であれば 確率c_ij = min( j/i, 1 ) で状…

切断正規分布

統計学実践ワークブックの問6.1〔4〕は、いわゆる切断正規分布の問題である。このキーワードでググると良い。 なお、期待値を求めるために確率変数 のモーメント母関数を計算しようとすると怪我をする?ので、素直に から定義通り期待値を求めましょう。 202…

クーポンコレクターまたはコンプリートガチャ問題

統計学実践ワークブック問5.5より。 問題の概要 4種類のカードを等確率無作為復元抽出で引く。 [1] 4種類のカードを全て揃えるまでの、回数の期待値 [2] あらたに5種類目のカードが追加されたとする。 x: はじめの4種類を集めてから、追加の5種類目を揃える…

指数分布の和の分布

統計学実践ワークブック問4.2より。指数分布の和の分布を求めた時の教訓・感想です。 オチ・教訓・流れ 指数分布は再生性を持っていない 指数分布のモーメント母関数を求めて掛け算しても、元の分布がよく分からない形に。。 なので畳み込み積分で和の分布を…

axjack is said to be an abbreviation for An eXistent JApanese Cool Klutz.