axjack's blog

### axjack is said to be an abbreviation for An eXistent JApanese Cool Klutz ###

統計学実践ワークブック第29章:不完全データの統計処理〜切断正規分布の期待値と分散〜

統計学実践ワークブックのp.281あたりです。 補助公式 以下が成り立つため、標準正規分布の確率密度関数を用いても以下が成り立つ 問題 確率変数の確率密度関数が と与えられる時の期待値・分散を求めよう。 期待値 は、となる。 分散 より、を計算すると、…

統計学実践ワークブック第3章:分布の特性値〜繰り返し期待値の法則および繰り返し分散の法則〜

統計学実践ワークブックのp.17です。ふわっと証明します。 繰り返し期待値の法則 証明 繰り返し分散の法則 証明 参考 en.wikipedia.org en.wikipedia.org

統計検定準1級(CBT)に合格したので勉強法やら書籍やらを書いておきます。

ギリギリですが合格しました。#統計検定準1級 pic.twitter.com/RVCSsQhUpB— Satoaki Noguchi (@axjack_) 2023年2月11日 感想 受験に臨むにあたって(勉強以外編) 成績 勉強法 書籍 統計検定特化型の書籍 統計学全般の書籍 買ったけど役に立ったか微妙なライン…

確率変数の変数変換:一様分布に従う2 つの確率変数の和

理論編 例:一様分布に従う2 つの確率変数の和 確率変数の変換 同時確率密度関数 確率変数のとりうる領域 領域の書き方補足 周辺確率密度関数 参考 理論編 確率変数の同時確率密度関数(joint pdf)をとする。この時、をと変数変換(change of variables)するこ…

列空間と左零空間は直交する

準備 行列Aを Aの列空間を Aの左零空間を とする。この時、C(A)の任意のベクトルとN(A')の任意のベクトルは直交する。 確認 x ∈ C(A), y ∈ N(A')を任意に取る。ベクトルが直交することを示すには内積が0となることを確認すれば良い。なお、小文字のoを零ベク…

ecdf関数とstepfun関数

ecdf関数は経験累積分布関数を返す関数 stepfun関数はステップ関数・区分関数・単関数(?)を返す関数 d <- c(1:10)Fn <- ecdf(d)plot(Fn) knots(Fn) Gn <- stepfun(d,c(1,3,2,5,4,7,3,3,4,2,1)) plot(Gn)

統計学実践ワークブック:第13章 ノンパラメトリック法

Rで実装してみた。 p100~: ウィルコクソンの順位和検定 p102~: 並び替え検定 p102~: ウィルコクソンの符号付き順位和 gist.github.com

R勉強会 第5回 アウトプット用課題の問5,6を解く

qiita.com QittaのR言語記事を散策していたら@roadricefieldさんの面白い記事があったので、自分でも解いてみることにしました。 問5 関数 実行 コメント 問6 関数 実行 問5 極値を求める関数を作成する問題。 関数 extremum_detector <- function(d, k){ # …

コンプガチャ問題

おまけを10種類揃えるには? おまけが全部で25種類の、とあるお菓子がある 一個税込143円である 25種類中欲しいのは10種類 1種類目が当たる確率は 2種類目が当たる確率は … 10種類目が当たる確率は 一般に、確率のものを引き当てるために必要となる購入回数…

統計学実践ワークブック 第1章 事象と確率 問1.3

[解くときのコツ] 問1.3の概要 条件付き確率 定義 亜種と簡単な応用 事象が増えたバージョン 余事象を挿入する その他 解答 [1] [2] 参考 [解くときのコツ] 1段階目 → 解けるけど腑に落ちない 条件付き確率を使った典型例*1ではあるが、やはり難しい。1%とか…

共役事前分布

xは分散σ²が既知の正規分布に従う。 大きさnの標本が得られている。 の事前分布としてを仮定する。 このときの事後分布は、の右辺を計算すれば良い。さて、ではなくで右辺を計算すると、 となるので、事後分布はと表すことができる。

統計学実践ワークブック 第31章 ベイズ法 の例1

問題の概要 設定 普及率p 20世帯中x世帯が保有している pの事前分布にはベータ分布:Beta(2,20)を仮定 問 事後分布を求めよ 回答 ベイズモデルとして考えるとパラメトリックモデルは、 であり、事前分布は、 となる。したがって事後分布はとなる。よって、事…

統計学実践ワークブック 第27章 時系列解析 より、AR(1)過程

AR(1)過程についてまとめます。 共分散定常過程 AR(1)過程 AR(1)過程の期待値 AR(1)過程の分散 AR(1)過程の自己共分散 AR(1)過程 → MA(∞)過程 AR(1)過程のスペクトラムの前に自己共分散母関数 AR(1)過程のスペクトラム 参照参考 共分散定常過程 時系列が、 …

統計学実践ワークブック 第17章 回帰診断法

学習のまとめと例題のデータを使ってRで回帰診断図を出してみました。 学習のまとめ 回帰診断を使う理由 どんな手法を用いて診断するのか 回帰診断図 例1の回帰診断図 問17.1の回帰診断図 データの取得 ソースコード こちらも参考に 学習のまとめ 回帰診断を…

統計学実践ワークブック 第16章 重回帰分析 問16.2を通じて・重回帰分析のスクラッチ実装

重回帰分析は重要と聞くので、念入りに勉強した記録です。 問16.2 問題[1]の要約 解答 問題文のデータセットを使ってRで重回帰分析してみる データ取得 構造確認 重回帰分析の実行 重回帰分析をスクラッチ実装する 変数の準備 例の‪逆行列 各係数を求める 残…

統計学実践ワークブック 第16章 重回帰分析 pp.125-127について、式を導出したり図示したり行間を埋めたりしました。

試験対策だけであったら、ぶっちゃけ重回帰分析した結果(回帰係数、t値、p値、決定係数)が読み解ければ良いと思われる。がしかし、ワークブックpp.125-127にある線形代数的な解釈・幾何学的な解釈の魅力といったらなんとやら。というわけで、行間を埋めた記…

統計学実践ワークブック 第15章 確率過程の基礎 p.119 計数過程としての表現のお気持ちを理解する

理解したいこと ①ある繰り返し起こるイベントに対してn番目の発生時刻をとみれば、は時刻tまでに起こるイベントの回数を表す確率過程とみなせる。 ② ①のお気持ちをくしゃみを通じて理解する ある繰り返し起こるイベント → くしゃみ k番目の発生時刻 → k回目…

統計学実践ワークブック 第15章 確率過程の基礎 p.117のεiの分布を導出する

はてなブログで書こうとしたものの、添字が付いた添字をはてなブログのTeX表記ではできなさそうだったのでSpeaker Deckにアップロードした。 speakerdeck.com

統計学実践ワークブック 第12章 一般の分布に関する検定法 p.92 の尤度比検定を用いる場合の棄却域 を導出する

母比率の検定に関する話題で統計学実践ワークブックp.91は二項分布から話が始まる。そしてp.92にて尤度比検定の話となるが、導出過程は書いていなかったので自力で導出してみることにした。なお以下、二項分布ではなくベルヌーイ分布を用いるのは計算のしや…

統計学実践ワークブック 第12章 一般の分布に関する検定法 問12.2の[4] あてはまりのよさ について

やること 統計学実践ワークブック 第12章 一般の分布に関する検定法 問12.2の[4] あてはまりのよさ について考えてみる。 情報整理 得られたデータについて A) まとめる前 自由度:9 カイ二乗統計量:16.37 P-値:0.05954566 B) まとめた後 自由度:5 カイ二…

pythonのvenv:仮想環境

仮想環境ってなに? グローバル環境を汚さずにパッケージとかをインストールできる環境のこと 本家ドキュメントはこちら 仮想環境の作り方 python3 -m venv myenv 仮想環境の起動 axjack@axjack py % source myenv/bin/activate pipが古いと怒られる なぜデ…

ランダムウォークと単位根

単位根を持つ時系列の例 を可視化、および階差をとって可視化してみる。時系列データ分析p.98 より。 一次元ランダムウォーク 一次元ランダムウォークの階差 ADF検定の結果 ADF検定は単位根の有無を検定するもので、帰無仮説は「データ系列に単位根が存在す…

ARとMAの自己相関係数と偏自己相関係数

統計学実践ワークブックのp.248の表を、グラフにて確かめる。表27.1の内容を一部引用。 選択モデル 自己相関係数 偏自己相関係数 AR(1) ゆっくりと減衰 2次以降0 MA(1) 2次以降0 ゆっくりと減衰 AR(2) ゆっくりと減衰 3次以降0 MA(2) 3次以降0 ゆっくりと減…

時系列データ分析に登場する統計的仮説検定

gihyo.jp ということで、本書に出てくる統計的仮説検定をまとめます。 Shapiro-Wilkの検定 データが正規分布に従っているか否かの検定 正規性の検定 帰無仮説:対象データが正規分布に従う p.61 連の検定 2値のデータの並びについて規則性の有無を確かめる…

統計学実践ワークブック 第27章 AR(1)過程

ワークブックp.243にある、AR(1)過程を4つ描画します。 AR(1)過程とは 時点t = 1,2, ... , T について といったモデル。ここでははホワイトノイズ()です。 ソースコード # AR(1)過程を生成する genAR1 <- function(Y,Y_1,constant,phi_1){ Y[1] <- Y_1 for …

統計学実践ワークブック 第24章 クラスター分析でのメモ

データとデータを併合し、クラスターを形成したい。どのデータとデータをクラスターと認定するかは、データデータ間の距離が小さいもので決めるとする。 ところで、データとデータは距離が計算できるものの、データとクラスター或いはクラスターとクラスター…

統計学実践ワークブック 第23章 判別分析 問23.3の[1]の判別関数の展開

久しぶりに条件付き確率(ベイズの定理)が出てきて分からん!って感じでした。 問題文の一部 を云々。 ポイント(復習) をカテゴリ、 をデータとする時、ベイズの定理よりと表すことができる。 式変形の過程 (2)を用いて(1)を式変形すると、となる。ここで、 …

統計学実践ワークブック 第20章 分散分析と実験計画法

# 統計学実践ワークブック #### # 第20章 分散分析と実験計画法 #### # pp.167-172 # 参考 # https://www1.doshisha.ac.jp/~mjin/R/Chap_13/13.html # [p.167]表20.1 #### A1 <- c(9.7,8.7,10.2,11.3,11.2,11.7) A2 <- c(9.8,11.8,13.1,10.9,11.3,10.3) A3 <…

統計学実践ワークブック 第18章 質的回帰の問18.1-3のロジスティック回帰分析/プロビットモデルをRで実行

第18章 質的回帰 データの引用元 統計学実践ワークブック pp.152-153 # 問18.1 #### # データ LIs <- c(8,10,12,14,16,18,20,22,24,26,28,32,34,38) Kanja <- c(2,2,3,3,3,1,3,2,1,1,1,1,1,3) Kankai <- c(0,0,0,0,0,1,2,1,0,1,1,0,1,2) # 加工 LI <- rep(LI…

監査サンプリングについてのメモ

単語集 単語 意味 補足 監基報530 監査基準委員会報告書530 監査サンプリングについての記載がある。 逸脱 不備や例外を表していると思われる。 n サンプルサイズ 監基報530ではサンプル数と書かれている。 k サンプル内の逸脱件数 pT 許容逸脱率 想定する母…

axjack is said to be an abbreviation for An eXistent JApanese Cool Klutz.