sample illustrator v2

import%20marimo%0A%0A__generated_with%20%3D%20%220.16.5%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20pandas%20as%20pd%0A%20%20%20%20import%20re%0A%20%20%20%20import%20scipy%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20plotly%0A%20%20%20%20import%20zipfile%0A%20%20%20%20import%20io%0A%20%20%20%20import%20sys%0A%0A%20%20%20%20norm%3Dscipy.stats.norm%20%0A%20%20%20%20gaussian_kde%3Dscipy.stats.gaussian_kde%0A%20%20%20%20t%3Dscipy.stats.t%0A%20%20%20%20go%20%3D%20plotly.graph_objects%0A%20%20%20%20return%20gaussian_kde%2C%20go%2C%20io%2C%20mo%2C%20norm%2C%20np%2C%20pd%2C%20sys%2C%20t%2C%20zipfile%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%23%20Sampling%20Illustration%20using%20VA%20Education%20Assessment%20Data%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%23%23%20Load%20and%20Filter%20the%20Raw%20Data%0A%20%20%20%20Let's%20load%20the%20science%20assessment%20data%20from%20https%3A%2F%2Fschoolquality.virginia.gov%2F%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Aasync%20def%20_(io%2C%20mo%2C%20pd%2C%20sys%2C%20zipfile)%3A%0A%20%20%20%20async%20def%20load_and_unzip()%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Loads%20and%20unzips%20'Assessments.zip'%20from%20the%20'public'%20folder.%0A%20%20%20%20%20%20%20%20-%20In%20WASM%20(exported%20HTML)%2C%20it%20fetches%20the%20file%20from%20its%20URL.%0A%20%20%20%20%20%20%20%20-%20In%20local%20Python%20(editing)%2C%20it%20reads%20the%20file%20from%20the%20disk.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20notebook_dir%20%3D%20mo.notebook_location()%0A%0A%20%20%20%20%20%20%20%20%23%20This%20is%20the%20%22platform%20guard%22%0A%20%20%20%20%20%20%20%20if%20sys.platform%20%3D%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20---%20PYODIDE%2FWASM%20PATH%20(fetches%20from%20URL)%20---%0A%20%20%20%20%20%20%20%20%20%20%20%20print('1')%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20We%20only%20import%20pyfetch%20inside%20the%20guard%0A%20%20%20%20%20%20%20%20%20%20%20%20from%20pyodide.http%20import%20pyfetch%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20zip_url%20%3D%20str(notebook_dir%20%2F%20%22public%22%20%2F%20%22Assessments.zip%22)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%201.%20Fetch%20the%20file%20from%20the%20URL%0A%20%20%20%20%20%20%20%20%20%20%20%20response%20%3D%20await%20pyfetch(zip_url)%0A%20%20%20%20%20%20%20%20%20%20%20%20zip_bytes%20%3D%20await%20response.bytes()%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%202.%20Treat%20the%20downloaded%20bytes%20as%20an%20in-memory%20file%0A%20%20%20%20%20%20%20%20%20%20%20%20zip_buffer%20%3D%20io.BytesIO(zip_bytes)%0A%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20---%20LOCAL%20PYTHON%20PATH%20(reads%20from%20disk)%20---%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%201.%20Get%20the%20direct%20file%20path%0A%20%20%20%20%20%20%20%20%20%20%20%20zip_path%20%3D%20str(notebook_dir%20%2F%20%22public%22%20%2F%20%22Assessments.zip%22)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%202.%20Open%20the%20file%20from%20the%20disk%0A%20%20%20%20%20%20%20%20%20%20%20%20zip_buffer%20%3D%20open(zip_path%2C%20%22rb%22)%0A%0A%20%20%20%20%20%20%20%20%23%20---%20COMMON%20LOGIC%20(works%20for%20both%20paths)%20---%0A%0A%20%20%20%20%20%20%20%20%23%203.%20Open%20the%20zip%20buffer%20(either%20from%20memory%20or%20disk)%0A%20%20%20%20%20%20%20%20with%20zipfile.ZipFile(zip_buffer%2C%20'r')%20as%20zf%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20!!!%20Make%20sure%20%22Assessments.csv%22%20is%20the%20exact%20name%20inside%20the%20zip%0A%20%20%20%20%20%20%20%20%20%20%20%20csv_bytes%20%3D%20zf.read(%22Assessments.csv%22)%0A%0A%20%20%20%20%20%20%20%20%23%204.%20Wrap%20the%20CSV%20bytes%20in%20a%20buffer%20for%20pandas%0A%20%20%20%20%20%20%20%20csv_buffer%20%3D%20io.BytesIO(csv_bytes)%0A%20%20%20%20%20%20%20%20df%20%3D%20pd.read_csv(csv_buffer%2C%20skiprows%3D3)%0A%0A%20%20%20%20%20%20%20%20%23%20Clean%20up%20the%20buffer%20if%20it%20was%20a%20file%0A%20%20%20%20%20%20%20%20if%20sys.platform%20!%3D%20%22emscripten%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20zip_buffer.close()%0A%0A%20%20%20%20%20%20%20%20return%20df%0A%0A%20%20%20%20va_all%20%3D%20await%20load_and_unzip()%0A%20%20%20%20va_all%0A%20%20%20%20return%20(va_all%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22Now%20let's%20filter%20down%20to%20Grade%2011%20Biology%20tests.%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(va_all)%3A%0A%20%20%20%20va_hs%3Dva_all.loc%5B(va_all%5B'Test%20Level'%5D%3D%3D11)%20%26%20(va_all%5B'Subgroup'%5D%3D%3D%22All%20Students%22)%20%26%20(va_all%5B'Subject'%5D%3D%3D%22Biology%22)%20%26%20(va_all%5B'Record%20Count'%5D%3E0)%5D.copy()%0A%20%20%20%20va_hs%0A%20%20%20%20return%20(va_hs%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20va_hs)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%7Bva_hs%5B'School'%5D.nunique()%7D%20schools%20had%20reports%20on%20Biology.%20%0A%0A%20%20%20%20Let's%20assume%20this%20is%20the%20poulation%20for%20all%20VA%20high%20school%2011%20graders%20who%20choose%20biology%20and%20generate%20a%20synthetic%20population%20that%20fits%20this%20distribution.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%23%23Create%20Synthetic%20Population%20Data%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(norm%2C%20np%2C%20pd%2C%20va_hs)%3A%0A%20%20%20%20analyitical_df%3Dva_hs%5B%5B'School'%2C'Percent%20Pass'%2C'Percent%20Proficiency'%2C'Record%20Count'%5D%5D.copy()%0A%0A%20%20%20%20def%20rng_for_school(school_name)%3A%0A%20%20%20%20%20%20%20%20%23%20Hash%20the%20school%20name%20into%20a%20deterministic%2031-bit%20integer%20seed%0A%20%20%20%20%20%20%20%20%23%20This%20fits%20within%20a%2032-bit%20SIGNED%20C%20long%0A%20%20%20%20%20%20%20%20seed%20%3D%20np.abs(hash(school_name))%20%25%20(2**31%20-%201)%0A%20%20%20%20%20%20%20%20return%20np.random.default_rng(seed)%0A%0A%20%20%20%20def%20normalize_rate(x)%3A%0A%20%20%20%20%20%20%20%20%23%20accepts%20percent%20%5B0%2C100%5D%2C%20rate%20%5B0%2C1%5D%2C%20or%20missing%2Fblank%0A%20%20%20%20%20%20%20%20if%20x%20is%20None%20or%20x%20%3D%3D%20%22%22%20or%20(isinstance(x%2C%20float)%20and%20np.isnan(x))%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%200.0%0A%20%20%20%20%20%20%20%20x%20%3D%20float(x)%0A%20%20%20%20%20%20%20%20return%20x%2F100.0%20if%20x%20%3E%201.0%20else%20x%0A%0A%20%20%20%20def%20counts_from_row(row)%3A%0A%20%20%20%20%20%20%20%20N%20%3D%20int(row%5B%22Record%20Count%22%5D)%0A%20%20%20%20%20%20%20%20p_pass%20%3D%20normalize_rate(row.get(%22Percent%20Pass%22%2C%200.0))%20%20%20%20%20%20%20%20%20%20%20%23%20%E2%89%A5400%0A%20%20%20%20%20%20%20%20p_prof%20%3D%20normalize_rate(row.get(%22Percent%20Proficiency%22%2C%200.0))%20%20%20%20%23%20400%E2%80%93499%20only%0A%20%20%20%20%20%20%20%20%23%20derive%20tails%0A%20%20%20%20%20%20%20%20p_adv%20%20%3D%20max(0.0%2C%20p_pass%20-%20p_prof)%20%20%23%20%E2%89%A5500%0A%20%20%20%20%20%20%20%20p_fail%20%3D%20max(0.0%2C%201.0%20-%20p_pass)%20%20%20%20%20%23%20%3C400%0A%0A%20%20%20%20%20%20%20%20%23%20convert%20to%20counts%20(round%20then%20fix%20totals)%0A%20%20%20%20%20%20%20%20adv%20%20%3D%20int(round(N%20*%20p_adv))%0A%20%20%20%20%20%20%20%20fail%20%3D%20int(round(N%20*%20p_fail))%0A%20%20%20%20%20%20%20%20mid%20%20%3D%20N%20-%20adv%20-%20fail%0A%20%20%20%20%20%20%20%20%23%20fix%20small%20rounding%20drift%0A%20%20%20%20%20%20%20%20if%20mid%20%3C%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20take%20from%20the%20larger%20of%20adv%2Ffail%0A%20%20%20%20%20%20%20%20%20%20%20%20take%20%3D%20min(adv%2C%20-mid)%0A%20%20%20%20%20%20%20%20%20%20%20%20adv%20-%3D%20take%0A%20%20%20%20%20%20%20%20%20%20%20%20fail%20-%3D%20(-mid%20-%20take)%0A%20%20%20%20%20%20%20%20%20%20%20%20mid%20%3D%200%0A%20%20%20%20%20%20%20%20return%20N%2C%20adv%2C%20mid%2C%20fail%0A%0A%20%20%20%20def%20fit_mu_sigma_from_shares(p_adv%2C%20p_fail)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Solve%20%CE%BC%2C%CF%83%20from%20tails%3B%20return%20(mu%2C%20sigma).%22%22%22%0A%20%20%20%20%20%20%20%20%23%20clamp%20rates%20away%20from%200%2F1%20to%20avoid%20infinities%0A%20%20%20%20%20%20%20%20eps%20%3D%201e-6%0A%20%20%20%20%20%20%20%20p_adv%20%3D%20np.clip(p_adv%2C%20eps%2C%201%20-%20eps)%0A%20%20%20%20%20%20%20%20p_fail%20%3D%20np.clip(p_fail%2C%20eps%2C%201%20-%20eps)%0A%20%20%20%20%20%20%20%20z1%20%3D%20norm.ppf(p_fail)%0A%20%20%20%20%20%20%20%20z2%20%3D%20norm.ppf(1%20-%20p_adv)%0A%20%20%20%20%20%20%20%20if%20z2%20%3C%3D%20z1%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(%22Inputs%20inconsistent%20with%20a%20single%20Normal%20(z2%3C%3Dz1).%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Check%20p_adv%2Fp_fail.%22)%0A%20%20%20%20%20%20%20%20sigma%20%3D%20100.0%20%2F%20(z2%20-%20z1)%0A%20%20%20%20%20%20%20%20mu%20%3D%20400.0%20-%20sigma%20*%20z1%0A%20%20%20%20%20%20%20%20return%20mu%2C%20sigma%0A%0A%20%20%20%20def%20sample_trunc_normal(n%2C%20low%2C%20high%2C%20mu%2C%20sigma%2C%20rng)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Inverse-CDF%20sampling%20from%20N(mu%2Csigma%5E2)%20truncated%20to%20%5Blow%2C%20high%5D.%22%22%22%0A%20%20%20%20%20%20%20%20a%20%3D%20-np.inf%20if%20low%20is%20None%20else%20(low%20-%20mu)%20%2F%20sigma%0A%20%20%20%20%20%20%20%20b%20%3D%20np.inf%20%20if%20high%20is%20None%20else%20(high%20-%20mu)%20%2F%20sigma%0A%20%20%20%20%20%20%20%20%23%20map%20uniform%20over%20the%20truncated%20CDF%20interval%0A%20%20%20%20%20%20%20%20ua%20%3D%20norm.cdf(a)%0A%20%20%20%20%20%20%20%20ub%20%3D%20norm.cdf(b)%0A%20%20%20%20%20%20%20%20u%20%3D%20rng.uniform(ua%2C%20ub%2C%20size%3Dn)%0A%20%20%20%20%20%20%20%20return%20mu%20%2B%20sigma%20*%20norm.ppf(u)%0A%0A%20%20%20%20def%20simulate_school(row)%3A%0A%20%20%20%20%20%20%20%20school%20%3D%20row.get(%22School%22)%20or%20row.get(%22School%20Name%22)%20or%20row.get(%22Division%22)%20or%20%22Unknown%22%0A%20%20%20%20%20%20%20%20N%2C%20adv_cnt%2C%20mid_cnt%2C%20fail_cnt%20%3D%20counts_from_row(row)%0A%20%20%20%20%20%20%20%20p_adv%20%3D%20adv_cnt%20%2F%20N%0A%20%20%20%20%20%20%20%20p_fail%20%3D%20fail_cnt%20%2F%20N%0A%20%20%20%20%20%20%20%20mu%2C%20sigma%20%3D%20fit_mu_sigma_from_shares(p_adv%2C%20p_fail)%0A%20%20%20%20%20%20%20%20rng%20%3D%20rng_for_school(school)%0A%0A%20%20%20%20%20%20%20%20%23%20generate%20exact%20counts%20in%20each%20band%0A%20%20%20%20%20%20%20%20scores_fail%20%3D%20sample_trunc_normal(fail_cnt%2C%200%2C%20%20%20400%2C%20mu%2C%20sigma%2C%20rng)%0A%20%20%20%20%20%20%20%20scores_mid%20%20%3D%20sample_trunc_normal(mid_cnt%2C%20%20400%2C%20500%2C%20mu%2C%20sigma%2C%20rng)%0A%20%20%20%20%20%20%20%20scores_adv%20%20%3D%20sample_trunc_normal(adv_cnt%2C%20%20500%2C%20600%2C%20mu%2C%20sigma%2C%20rng)%0A%0A%20%20%20%20%20%20%20%20scores%20%3D%20np.concatenate(%5Bscores_fail%2C%20scores_mid%2C%20scores_adv%5D)%0A%20%20%20%20%20%20%20%20bands%20%20%3D%20(%5B%22%3C400%22%5D%20*%20fail_cnt)%20%2B%20(%5B%22400%E2%80%93499%22%5D%20*%20mid_cnt)%20%2B%20(%5B%22%E2%89%A5500%22%5D%20*%20adv_cnt)%0A%0A%20%20%20%20%20%20%20%20out%20%3D%20pd.DataFrame(%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22School%22%3A%20school%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Score%22%3A%20np.clip(scores%2C%200%2C%20600).round(0).astype(int)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22Band%22%3A%20bands%0A%20%20%20%20%20%20%20%20%7D)%0A%20%20%20%20%20%20%20%20out%5B%22PassFlag%22%5D%20%3D%20(out%5B%22Score%22%5D%20%3E%3D%20400).astype(int)%0A%20%20%20%20%20%20%20%20out%5B%22AdvFlag%22%5D%20%20%3D%20(out%5B%22Score%22%5D%20%3E%3D%20500).astype(int)%0A%20%20%20%20%20%20%20%20return%20out%2C%20mu%2C%20sigma%0A%0A%20%20%20%20all_sims%20%3D%20%5B%5D%0A%20%20%20%20params%20%3D%20%5B%5D%0A%20%20%20%20for%20_%2C%20r%20in%20analyitical_df.iterrows()%3A%0A%20%20%20%20%20%20%20%20sim%2C%20mu%2C%20sigma%20%3D%20simulate_school(r)%0A%20%20%20%20%20%20%20%20all_sims.append(sim)%0A%20%20%20%20%20%20%20%20params.append(%7B%22School%22%3A%20r%5B%22School%22%5D%2C%20%22mu%22%3A%20mu%2C%20%22sigma%22%3A%20sigma%7D)%0A%0A%20%20%20%20scores_df%20%3D%20pd.concat(all_sims%2C%20ignore_index%3DTrue)%0A%20%20%20%20params_df%20%3D%20pd.DataFrame(params)%0A%0A%0A%20%20%20%20%23%20Quick%20checks%20(per%20school)%20%E2%80%94%20these%20should%20exactly%20match%20the%20inputs%3A%0A%20%20%20%20check%20%3D%20scores_df.groupby(%22School%22)%5B%22Band%22%5D.value_counts().unstack().fillna(0).astype(int)%0A%20%20%20%20check%5B%22N%22%5D%20%3D%20check.sum(1)%0A%20%20%20%20pop_mean%3Dscores_df%5B'Score'%5D.mean()%0A%20%20%20%20pop_std%3Dscores_df%5B'Score'%5D.std()%0A%20%20%20%20scores_df%0A%20%20%20%20return%20pop_mean%2C%20pop_std%2C%20scores_df%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20pop_mean%2C%20pop_std)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20Now%20let's%20get%20some%20population%20stats.%0A%0A%20%20%20%20The%20population%20mean%20score%20is%20%7Bpop_mean%3A3.2f%7D%20and%20standard%20deviation%20is%20%7Bpop_std%3A%203.2f%7D%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%23%23%20Illustrate%20Sampling%0A%0A%20%20%20%20We%20will%20be%20illustrating%20the%20importance%20of%20correcting%20for%20sampling%20design.%20We%20are%20compareing%20two%20sampling%20strategies%3A%0A%0A%20%20%20%201.%20Simple%20Random%20Sampling%0A%20%20%20%202.%202%20stage%20clustered%20sampling%20where%20you%20sample%20schools%20first%20and%20sample%20a%20fixed%20number%20of%20individuals%20from%20each%20school.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np%2C%20pd)%3A%0A%20%20%20%20%23%20----------%20helpers%20----------%0A%0A%20%20%20%20%23%20----%20Simple%20random%20sample%20----%0A%20%20%20%20def%20srs_persons(df%2C%20n%2C%20rng)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Simple%20random%20sample%20of%20persons%20(WOR).%22%22%22%0A%20%20%20%20%20%20%20%20N%20%3D%20len(df)%0A%20%20%20%20%20%20%20%20samp%20%3D%20df.sample(n%3Dn%2C%20replace%3DFalse%2C%20random_state%3Drng.integers(0%2C%202**32)).copy()%0A%20%20%20%20%20%20%20%20samp%5B%22weight%22%5D%20%3D%20N%20%2F%20n%0A%20%20%20%20%20%20%20%20return%20samp%0A%0A%20%20%20%20%23%20----%20Two-stage%20cluster%20----%0A%20%20%20%20def%20stage2_cluster_sample(df%2C%20m_psu%2C%20k%3D30%2C%20n_within%3D%22fixed%22%2C%20pps%3DFalse%2C%20rng%3DNone)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20An%20efficient%2C%20vectorized%20version%20of%20the%20two-stage%20cluster%20sampler.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20if%20rng%20is%20None%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20rng%20%3D%20np.random.default_rng()%0A%0A%20%20%20%20%20%20%20%20%23%20---%20Stage%201%3A%20Select%20Schools%20(PSUs)%20---%0A%20%20%20%20%20%20%20%20sch_counts%20%3D%20df%5B%22School%22%5D.value_counts().rename_axis(%22School%22).reset_index(name%3D%22N_g%22)%0A%20%20%20%20%20%20%20%20M%20%3D%20len(sch_counts)%0A%0A%20%20%20%20%20%20%20%20%23%20Select%20m_psu%20schools%20(PSUs)%0A%20%20%20%20%20%20%20%20if%20pps%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20probs%20%3D%20sch_counts%5B%22N_g%22%5D%20%2F%20sch_counts%5B%22N_g%22%5D.sum()%0A%20%20%20%20%20%20%20%20%20%20%20%20sel_idx%20%3D%20rng.choice(M%2C%20size%3Dmin(m_psu%2C%20M)%2C%20replace%3DFalse%2C%20p%3Dprobs)%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20sel_idx%20%3D%20rng.choice(M%2C%20size%3Dmin(m_psu%2C%20M)%2C%20replace%3DFalse)%0A%0A%20%20%20%20%20%20%20%20selected_sch%20%3D%20sch_counts.iloc%5Bsel_idx%5D.copy()%0A%20%20%20%20%20%20%20%20selected_sch%5B%22pi_g%22%5D%20%3D%20len(selected_sch)%20%2F%20M%0A%0A%20%20%20%20%20%20%20%20%23%20---%20Pre-calculate%20sample%20sizes%20for%20selected%20schools%20---%0A%20%20%20%20%20%20%20%20if%20n_within%20%3D%3D%20%22fixed%22%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20selected_sch%5B%22n_g%22%5D%20%3D%20np.minimum(k%2C%20selected_sch%5B%22N_g%22%5D)%0A%20%20%20%20%20%20%20%20else%3A%20%23%20Proportional%20allocation%0A%20%20%20%20%20%20%20%20%20%20%20%20mean_N_g%20%3D%20sch_counts%5B%22N_g%22%5D.mean()%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Calculate%20proportional%20size%2C%20ensure%20it's%20an%20integer%20%3E%3D%201%20and%20%3C%3D%20N_g%0A%20%20%20%20%20%20%20%20%20%20%20%20n_g_prop%20%3D%20np.ceil(k%20*%20selected_sch%5B%22N_g%22%5D%20%2F%20mean_N_g)%0A%20%20%20%20%20%20%20%20%20%20%20%20selected_sch%5B%22n_g%22%5D%20%3D%20np.minimum(n_g_prop%2C%20selected_sch%5B%22N_g%22%5D).astype(int).clip(lower%3D1)%0A%0A%20%20%20%20%20%20%20%20%23%20---%20Stage%202%3A%20Sample%20Students%20within%20Selected%20Schools%20(Vectorized)%20---%0A%0A%20%20%20%20%20%20%20%20%23%20Create%20a%20map%20of%20%7Bschool_name%3A%20num_to_sample%7D%20for%20efficiency%0A%20%20%20%20%20%20%20%20n_g_map%20%3D%20selected_sch.set_index(%22School%22)%5B%22n_g%22%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Define%20a%20function%20to%20apply%20to%20each%20school%20group%0A%20%20%20%20%20%20%20%20def%20sample_from_group(group)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20n_to_sample%20%3D%20n_g_map.loc%5Bgroup.name%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20group.sample(n%3Dn_to_sample%2C%20replace%3DFalse%2C%20random_state%3Drng.integers(0%2C%202**32))%0A%0A%20%20%20%20%20%20%20%20%23%20Filter%20the%20main%20dataframe%20to%20only%20include%20selected%20schools%2C%20then%20group%20and%20apply%20sampling%0A%20%20%20%20%20%20%20%20sampled_data%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20df%5Bdf%5B%22School%22%5D.isin(selected_sch%5B%22School%22%5D)%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20.groupby(%22School%22%2C%20group_keys%3DFalse)%5B%5B'School'%2C%20'Score'%2C%20'Band'%2C%20'PassFlag'%2C%20'AdvFlag'%5D%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20.apply(sample_from_group)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%20---%20Calculate%20Weights%20(Vectorized)%20---%0A%0A%20%20%20%20%20%20%20%20%23%20Merge%20school-level%20info%20(N_g%2C%20n_g%2C%20pi_g)%20onto%20the%20student%20sample%0A%20%20%20%20%20%20%20%20final_sample%20%3D%20pd.merge(%0A%20%20%20%20%20%20%20%20%20%20%20%20sampled_data%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20selected_sch%5B%5B'School'%2C%20'N_g'%2C%20'n_g'%2C%20'pi_g'%5D%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20on%3D'School'%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%20%20%20%20%23%20Calculate%20final%20weights%0A%20%20%20%20%20%20%20%20pi_i%20%3D%20final_sample%5B%22pi_g%22%5D%20*%20(final_sample%5B%22n_g%22%5D%20%2F%20final_sample%5B%22N_g%22%5D)%0A%20%20%20%20%20%20%20%20final_sample%5B%22weight%22%5D%20%3D%201.0%20%2F%20pi_i%0A%20%20%20%20%20%20%20%20final_sample%5B%22PSU%22%5D%20%3D%20final_sample%5B%22School%22%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Return%20the%20final%20dataframe%2C%20selecting%20original%20columns%20%2B%20new%20ones%0A%20%20%20%20%20%20%20%20return%20final_sample%5Bdf.columns.tolist()%20%2B%20%5B'PSU'%2C%20'weight'%5D%5D%0A%0A%20%20%20%20def%20weighted_mean(y%2C%20w)%3A%0A%20%20%20%20%20%20%20%20y%20%3D%20np.asarray(y)%3B%20w%20%3D%20np.asarray(w)%0A%20%20%20%20%20%20%20%20return%20(w%20*%20y).sum()%20%2F%20w.sum()%0A%0A%20%20%20%20def%20cluster_se_for_mean(sample_df%2C%20value_col%3D%22Score%22%2C%20weight_col%3D%22weight%22%2C%20psu_col%3D%22PSU%22)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Taylor%20linearization%2C%20with-replacement%20PSU%20approximation%3A%0A%20%20%20%20%20%20%20%20%20%20Var(%C8%B3_w)%20%E2%89%88%20(m%2F(m-1))%20*%20sum_g%20%5B%20T_g%5E2%20%5D%20%2F%20(%20(%CE%A3w)%5E2%20)%2C%0A%20%20%20%20%20%20%20%20%20%20where%20T_g%20%3D%20%CE%A3_%7Bi%E2%88%88g%7D%20w_i%20(y_i%20-%20%C8%B3_w)%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20ybar%20%3D%20weighted_mean(sample_df%5Bvalue_col%5D%2C%20sample_df%5Bweight_col%5D)%0A%20%20%20%20%20%20%20%20W%20%3D%20sample_df%5Bweight_col%5D.sum()%0A%20%20%20%20%20%20%20%20m%20%3D%20sample_df%5Bpsu_col%5D.nunique()%0A%20%20%20%20%20%20%20%20grp%20%3D%20sample_df.assign(res%3Dlambda%20d%3A%20d%5Bweight_col%5D%20*%20(d%5Bvalue_col%5D%20-%20ybar)).groupby(psu_col)%5B%22res%22%5D.sum()%0A%20%20%20%20%20%20%20%20var%20%3D%20(m%20%2F%20(m%20-%201))%20*%20(grp.pow(2).sum())%20%2F%20(W%20**%202)%0A%20%20%20%20%20%20%20%20return%20float(np.sqrt(var))%2C%20ybar%0A%0A%0A%20%20%20%20%23%20srs_mean%2C%20srs_se%2C%20mean_score%2C%20naive_se%2C%20%20se_score%0A%20%20%20%20return%20cluster_se_for_mean%2C%20srs_persons%2C%20stage2_cluster_sample%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20seed%20%3D%20mo.ui.number(47%2C%20%20step%3D1%2C%20label%3D%22Random%20seed%22)%0A%20%20%20%20sample_n%20%3D%20mo.ui.number(10%2C%201000%2C%20value%3D300%2C%20step%3D10%2C%20label%3D%22Sample%20size%20(n)%20for%20Simple%20Random%20Sampling%22)%0A%20%20%20%20sample_m%20%3D%20mo.ui.number(1%2C%20100%2C%20value%3D50%2C%20step%3D1%2C%20label%3D%22Sample%20clusters%20(m)%20for%202%20stage%20clustered%20sampling%22)%0A%20%20%20%20sample_k%20%3D%20mo.ui.number(2%2C%2020%2C%20value%3D6%2C%20step%3D1%2C%20label%3D%22Within%20cluster%20sample%20size%20(k)%20for%202%20stage%20clustered%20sampling%22)%0A%20%20%20%20samples_drawn%20%3D%20mo.ui.number(10%2C%201000%2C%20value%3D100%2C%20step%3D10%2C%20label%3D%22Total%20Samples%20Drawn%22)%0A%0A%20%20%20%20mo.vstack(%5Bseed%2C%20sample_n%2C%20sample_m%2C%20sample_k%2Csamples_drawn%5D%2C%20justify%3D%22start%22)%0A%20%20%20%20return%20sample_k%2C%20sample_m%2C%20sample_n%2C%20samples_drawn%2C%20seed%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20np%2C%20sample_k%2C%20sample_m%2C%20sample_n%2C%20seed)%3A%0A%20%20%20%20rng%20%3D%20np.random.default_rng(seed.value)%0A%20%20%20%20try%3A%20%0A%20%20%20%20%20%20%20%20assert%20sample_n.value%3D%3Dsample_m.value*sample_k.value%0A%20%20%20%20%20%20%20%20sample_check%3Dmo.md(%22Sample%20size%20check%20pass%22)%0A%20%20%20%20except%3A%0A%20%20%20%20%20%20%20%20sample_check%3Dmo.stop(True%2C%20mo.md(%22%3Cspan%20style%3D'color%3Ared%3B%20font-weight%3Abold%3B'%3ESample%20size%20check%20failed%20%E2%80%94%20skipping%20downstream%20cells.%3C%2Fspan%3E%22))%0A%20%20%20%20sample_check%0A%20%20%20%20return%20(rng%2C)%0A%0A%0A%40app.cell%0Adef%20_(cluster_se_for_mean%2C%20np%2C%20srs_persons%2C%20stage2_cluster_sample)%3A%0A%0A%20%20%20%20def%20sampling(scores_df%2C%20s_n%2C%20s_m%2C%20s_k%2C%20rng)%3A%0A%20%20%20%20%20%20%20%20%23%20This%20function%20requires%20no%20changes%2C%20as%20it%20just%20calls%20the%20helpers.%0A%20%20%20%20%20%20%20%20%23%20It%20will%20now%20be%20much%20faster%20because%20the%20new%20stage2_cluster_sample%20is%20optimized.%0A%20%20%20%20%20%20%20%20srs%20%3D%20srs_persons(scores_df%2C%20n%3Ds_n%2C%20rng%3Drng).reset_index(drop%3DTrue)%0A%20%20%20%20%20%20%20%20srs_mean%20%3D%20srs%5B%22Score%22%5D.mean()%0A%20%20%20%20%20%20%20%20N%20%3D%20len(scores_df)%3B%20n%20%3D%20len(srs)%0A%20%20%20%20%20%20%20%20s2%20%3D%20srs%5B%22Score%22%5D.var(ddof%3D1)%0A%20%20%20%20%20%20%20%20srs_se%20%3D%20np.sqrt((1%20-%20n%2FN)%20*%20s2%20%2F%20n)%0A%0A%20%20%20%20%20%20%20%20twostage%20%3D%20stage2_cluster_sample(scores_df%2C%20m_psu%3Ds_m%2C%20k%3Ds_k%2C%20pps%3DFalse%2C%20rng%3Drng).reset_index(drop%3DTrue)%0A%20%20%20%20%20%20%20%20s2%20%3D%20twostage%5B%22Score%22%5D.var(ddof%3D1)%0A%20%20%20%20%20%20%20%20naive_mean%20%3D%20twostage%5B%22Score%22%5D.mean()%0A%20%20%20%20%20%20%20%20naive_se%20%3D%20np.sqrt((1%20-%20len(twostage)%2FN)%20*%20s2%20%2F%20len(twostage))%20%23%20Corrected%20FPC%20for%20naive%20SE%0A%0A%20%20%20%20%20%20%20%20se_score%2C%20mean_score%20%3D%20cluster_se_for_mean(twostage%2C%20value_col%3D%22Score%22%2C%20weight_col%3D%22weight%22%2C%20psu_col%3D%22PSU%22)%0A%0A%20%20%20%20%20%20%20%20return%20srs%5B%5B'School'%2C'Score'%2C'Band'%2C'PassFlag'%2C'weight'%5D%5D.copy()%2C%20twostage%5B%5B'School'%2C'Score'%2C'Band'%2C'PassFlag'%2C'weight'%2C'PSU'%5D%5D.copy()%2C%20srs_mean%2C%20srs_se%2C%20mean_score%2C%20se_score%2C%20naive_mean%2C%20naive_se%0A%20%20%20%20return%20(sampling%2C)%0A%0A%0A%40app.cell%0Adef%20_(rng%2C%20sample_k%2C%20sample_m%2C%20sample_n%2C%20samples_drawn%2C%20sampling%2C%20scores_df)%3A%0A%20%20%20%20results%3D%5B%5D%0A%20%20%20%20for%20_%20in%20range(samples_drawn.value)%3A%0A%20%20%20%20%20%20%20%20results.append(sampling(scores_df%2C%20sample_n.value%2C%20sample_m.value%2C%20sample_k.value%2C%20rng))%0A%20%20%20%20return%20(results%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20samples_drawn)%3A%0A%20%20%20%20sample_view%3Dmo.ui.slider(start%3D1%2C%20stop%3Dsamples_drawn.value%2C%20step%3D1%2C%20label%3D%22Select%20runs%20to%20preview%22)%0A%20%20%20%20sample_method%3Dmo.ui.dropdown(options%3D%5B'Simple'%2C%20'Cluster'%5D%2C%20value%3D'Simple')%0A%20%20%20%20mo.vstack(%5Bsample_view%2C%20sample_method%5D%2C%20justify%3D'start')%0A%20%20%20%20return%20sample_method%2C%20sample_view%0A%0A%0A%40app.cell%0Adef%20_(results%2C%20sample_method%2C%20sample_view)%3A%0A%20%20%20%20if%20sample_method.value%3D%3D'Simple'%3A%0A%20%20%20%20%20%20%20%20preview%3Dresults%5Bsample_view.value-1%5D%5B0%5D%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20preview%3Dresults%5Bsample_view.value-1%5D%5B1%5D%0A%20%20%20%20preview%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%20Sampling%20Bias%20and%20Sample%20Weights%0A%20%20%20%20In%20the%20figure%20below%2C%20we%20show%20three%20empirical%20sampling%20distributions%20from%20the%20samples%20generated%20above.%20%0A%20%20%20%20-%20sample%20mean%20from%20simple%20random%20sampling%20(SRS)%0A%20%20%20%20-%20sample%20mean%20from%20two%20stage%20clustered%20sampling%20with%20sampling%20weights%0A%20%20%20%20-%20sample%20mean%20from%20two%20stage%20clustered%20sampling%20without%20proper%20weights%0A%0A%20%20%20%20What%20you%20will%20find%20is%20that%20without%20weights%2C%20the%20sampling%20distribution%20of%20sample%20mean%20for%20two%20stage%20clustered%20sampling%20is%20not%20converging%20to%20the%20population%20mean.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(gaussian_kde%2C%20go%2C%20mo%2C%20np%2C%20pop_mean%2C%20results)%3A%0A%0A%20%20%20%20def%20ecdf(values)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Return%20(x%2C%20y)%20for%20the%20empirical%20CDF%20as%20step%20data.%22%22%22%0A%20%20%20%20%20%20%20%20x%20%3D%20np.sort(np.asarray(values%2C%20dtype%3Dfloat))%0A%20%20%20%20%20%20%20%20n%20%3D%20x.size%0A%20%20%20%20%20%20%20%20if%20n%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20np.array(%5B%5D)%2C%20np.array(%5B%5D)%0A%20%20%20%20%20%20%20%20y%20%3D%20np.arange(1%2C%20n%20%2B%201)%20%2F%20n%0A%20%20%20%20%20%20%20%20return%20x%2C%20y%0A%0A%20%20%20%20%23%20Extract%20series%20from%20results%0A%20%20%20%20srs_means%20%20%20%20%20%20%3D%20np.array(%5Br%5B2%5D%20for%20r%20in%20results%5D)%20%20%23%20SRS%0A%20%20%20%20weighted_means%20%3D%20np.array(%5Br%5B4%5D%20for%20r%20in%20results%5D)%20%20%23%202-stage%20weighted%0A%20%20%20%20naive_means%20%20%20%20%3D%20np.array(%5Br%5B6%5D%20for%20r%20in%20results%5D)%20%20%23%202-stage%20naive%0A%0A%20%20%20%20def%20kde_line(data%2C%20label%2C%20color%3DNone)%3A%0A%20%20%20%20%20%20%20%20if%20len(data)%20%3C%202%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20None%0A%20%20%20%20%20%20%20%20kde%20%3D%20gaussian_kde(data)%0A%20%20%20%20%20%20%20%20xs%20%3D%20np.linspace(min(data)%2C%20max(data)%2C%20200)%0A%20%20%20%20%20%20%20%20ys%20%3D%20kde(xs)%0A%20%20%20%20%20%20%20%20return%20go.Scatter(x%3Dxs%2C%20y%3Dys%2C%20mode%3D%22lines%22%2C%20name%3Dlabel%2C%20line%3Ddict(color%3Dcolor))%0A%0A%20%20%20%20fig%20%3D%20go.Figure()%0A%20%20%20%20fig.add_trace(kde_line(srs_means%2C%20%22SRS%20mean%22%2C%20%22blue%22))%0A%20%20%20%20fig.add_trace(kde_line(weighted_means%2C%20%22Two-stage%20(weighted%20mean)%22%2C%20%22green%22))%0A%20%20%20%20fig.add_trace(kde_line(naive_means%2C%20%22Two-stage%20(naive%20mean)%22%2C%20%22red%22))%0A%0A%20%20%20%20%23%20Population%20mean%20as%20vertical%20line%0A%20%20%20%20fig.add_vline(x%3Dpop_mean%2C%20line_dash%3D%22dot%22%2C%20line_color%3D%22black%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_text%3Df%22Pop%20mean%20%E2%89%88%20%7Bpop_mean%3A.1f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20annotation_position%3D%22top%20left%22)%0A%0A%20%20%20%20fig.update_layout(%0A%20%20%20%20%20%20%20%20title%3D%22Estimated%20PDFs%20of%20Sampling%20Distributions%22%2C%0A%20%20%20%20%20%20%20%20xaxis_title%3D%22Sample%20mean%20(score)%22%2C%0A%20%20%20%20%20%20%20%20yaxis_title%3D%22Density%22%2C%0A%20%20%20%20%20%20%20%20legend_title%3D%22Estimator%22%2C%0A%20%20%20%20%20%20%20%20margin%3Ddict(l%3D40%2C%20r%3D20%2C%20t%3D50%2C%20b%3D40)%2C%0A%20%20%20%20%20%20%20%20hovermode%3D%22x%20unified%22%0A%20%20%20%20)%0A%0A%20%20%20%20pdf_plot%20%3D%20mo.ui.plotly(fig)%0A%20%20%20%20pdf_plot%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%20Confidence%20Interval%20and%20Coverage%20of%20Population%20Parameters%0A%20%20%20%20This%20is%20to%20illustrate%20the%20importance%20to%20correct%20for%20sampling%20designs.%20Without%20such%20correction%2C%20the%20samples%20are%20likely%20undercover%20(not%20include%20the%20true%20population%20mean%20in%20the%2095%25%20confidence%20interval%2095%25%20of%20the%20times).%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20np%2C%20pd%2C%20pop_mean%2C%20results%2C%20sample_m%2C%20t)%3A%0A%20%20%20%20%23%20true%20population%20mean%0A%0A%20%20%20%20def%20covered(mean%2C%20se%2C%20true%2C%20df%3DNone)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Checks%20if%20the%20true%20value%20is%20within%20the%2095%25%20confidence%20interval.%0A%20%20%20%20%20%20%20%20Uses%20t-distribution%20if%20degrees%20of%20freedom%20(df)%20are%20provided%2C%20otherwise%20uses%20z%3D1.96.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%23%20If%20df%20are%20provided%20(for%20cluster%20sample)%2C%20use%20the%20t-distribution%0A%20%20%20%20%20%20%20%20if%20df%20is%20not%20None%20and%20df%20%3E%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20critical_value%20%3D%20t.ppf(0.975%2C%20df%3Ddf)%0A%20%20%20%20%20%20%20%20%23%20Otherwise%20(for%20SRS)%2C%20use%20the%20standard%20normal%20approximation%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20critical_value%20%3D%201.96%0A%0A%20%20%20%20%20%20%20%20lo%20%3D%20mean%20-%20critical_value%20*%20se%0A%20%20%20%20%20%20%20%20hi%20%3D%20mean%20%2B%20critical_value%20*%20se%0A%20%20%20%20%20%20%20%20return%20(lo%20%3C%3D%20true)%20and%20(true%20%3C%3D%20hi)%0A%0A%20%20%20%20%23%20Unpack%20from%20your%20results%3A%0A%20%20%20%20%23%20r%20%3D%20(srs_df%2C%20twostage_df%2C%20srs_mean%2C%20srs_se%2C%20mean_score%2C%20se_score%2C%20naive_mean%2C%20naive_se)%0A%20%20%20%20cov_SRS%20%20%20%20%20%20%20%20%20%20%3D%20%5B%5D%0A%20%20%20%20cov_2stage_wt%20%20%20%20%3D%20%5B%5D%20%20%23%20mean_score%20%C2%B1%20se_score%0A%20%20%20%20cov_2stage_naive%20%3D%20%5B%5D%20%20%23%20mean_score%20%C2%B1%20naive_se%0A%20%20%20%20cov_Naive%20%20%20%20%20%20%20%20%3D%20%5B%5D%20%20%23%20naive_mean%20%C2%B1%20naive_se%0A%20%20%20%20degrees_of_freedom%20%3D%20sample_m.value%20-%201%0A%0A%20%20%20%20for%20r1%20in%20results%3A%0A%20%20%20%20%20%20%20%20srs_mean%2C%20srs_se%20%20%20%20%20%3D%20r1%5B2%5D%2C%20r1%5B3%5D%0A%20%20%20%20%20%20%20%20mean_score%2C%20se_score%20%3D%20r1%5B4%5D%2C%20r1%5B5%5D%0A%20%20%20%20%20%20%20%20naive_mean%2C%20naive_se%20%3D%20r1%5B6%5D%2C%20r1%5B7%5D%0A%0A%20%20%20%20%20%20%20%20%23%20For%20SRS%2C%20n%20is%20large%2C%20so%20z%3D1.96%20is%20fine%20(df%3DNone%20uses%20the%20default)%0A%20%20%20%20%20%20%20%20cov_SRS.append(covered(srs_mean%2C%20srs_se%2C%20true%3Dpop_mean))%0A%0A%20%20%20%20%20%20%20%20%23%20For%20the%20weighted%20cluster%20sample%2C%20use%20the%20t-distribution%20with%20m-1%20df%0A%20%20%20%20%20%20%20%20cov_2stage_wt.append(covered(mean_score%2C%20se_score%2C%20true%3Dpop_mean%2C%20df%3Ddegrees_of_freedom))%0A%0A%20%20%20%20%20%20%20%20%23%20For%20the%20naive%20estimators%2C%20we%20continue%20using%20z%3D1.96%20to%20demonstrate%0A%20%20%20%20%20%20%20%20%23%20that%20their%20primary%20flaw%20is%20the%20incorrect%20SE%2C%20not%20the%20critical%20value.%0A%20%20%20%20%20%20%20%20cov_2stage_naive.append(covered(mean_score%2C%20naive_se%2C%20true%3Dpop_mean))%0A%20%20%20%20%20%20%20%20cov_Naive.append(covered(naive_mean%2C%20naive_se%2C%20true%3Dpop_mean))%0A%0A%20%20%20%20cols%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22SRS%3A%20mean%20%C2%B1%20SE%22%3A%20cov_SRS%2C%0A%20%20%20%20%20%20%20%20%22Two-stage%20(weighted%20mean)%20%C2%B1%20cluster%20SE%22%3A%20cov_2stage_wt%2C%0A%20%20%20%20%20%20%20%20%22Two-stage%20(weighted%20mean)%20%C2%B1%20naive%20SE%22%3A%20cov_2stage_naive%2C%0A%20%20%20%20%20%20%20%20%22Two-stage%20(naive%20mean)%20%C2%B1%20naive%20SE%22%3A%20cov_Naive%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20%23%20Build%20counts%0A%20%20%20%20counts%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Covered%22%3A%20%20%20%20%20%5Bnp.sum(v)%20for%20v%20in%20cols.values()%5D%2C%0A%20%20%20%20%20%20%20%20%22Not%20covered%22%3A%20%5Blen(v)%20-%20np.sum(v)%20for%20v%20in%20cols.values()%5D%2C%0A%20%20%20%20%7D%0A%20%20%20%20counts_df%20%3D%20pd.DataFrame(counts%2C%20index%3Dlist(cols.keys())).T%0A%0A%20%20%20%20%23%20Add%20percentages%20(of%20total%20reps)%0A%20%20%20%20total%20%3D%20len(results)%20if%20len(results)%20%3E%200%20else%201%0A%20%20%20%20pct_df%20%3D%20(counts_df%20%2F%20total%20*%20100).round(1).astype(float)%0A%20%20%20%20pct_df.index%20%3D%20%5Bf%22%7Bi%7D%20(%25)%22%20for%20i%20in%20counts_df.index%5D%0A%0A%20%20%20%20%23%20Combine%20counts%20%2B%20percentages%20in%20a%20single%20table%0A%20%20%20%20combined%20%3D%20pd.concat(%5Bcounts_df%2C%20pct_df%5D)%0A%0A%20%20%20%20%23%20Make%20it%20a%20little%20nicer%0A%20%20%20%20combined%20%3D%20combined.rename_axis(%22Result%22).reset_index()%0A%0A%20%20%20%20coverage_table%20%3D%20mo.ui.table(combined)%0A%20%20%20%20coverage_table%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A