Python Scipy 显著性检验

news/2023/5/28 8:41:51

Scipy 显著性检验

显著性检验(significance test)就是事先对总体(随机变量)的参数或总体分布形式做出一个假设,然后利用样本信息来判断这个假设(备择假设)是否合理,即判断总体的真实情况与原假设是否有显著性差异。或者说,显著性检验要判断样本与我们对总体所做的假设之间的差异是纯属机会变异,还是由我们所做的假设与总体真实情况之间不一致所引起的。 显著性检验是针对我们对总体所做的假设做检验,其原理就是"小概率事件实际不可能性原理"来接受或否定假设。

显著性检验即用于实验处理组与对照组或两种不同处理的效应之间是否有差异,以及这种差异是否显著的方法。

SciPy 提供了 scipy.stats 的模块来执行Scipy 显著性检验的功能。

统计假设

统计假设是关于一个或多个随机变量的未知分布的假设。随机变量的分布形式已知,而仅涉及分布中的一个或几个未知参数的统计假设,称为参数假设。检验统计假设的过程称为假设检验,判别参数假设的检验称为参数检验。

零假设

零假设(null hypothesis),统计学术语,又称原假设,指进行统计检验时预先建立的假设。 零假设成立时,有关统计量应服从已知的某种概率分布。

当统计量的计算值落入否定域时,可知发生了小概率事件,应否定原假设。

常把一个要检验的假设记作 H0,称为原假设(或零假设) (null hypothesis) ,与 H0 对立的假设记作 H1,称为备择假设(alternative hypothesis) 。

  • 在原假设为真时,决定放弃原假设,称为第一类错误,其出现的概率通常记作 α

  • 在原假设不真时,决定不放弃原假设,称为第二类错误,其出现的概率通常记作 β

  • α+β 不一定等于 1。

通常只限定犯第一类错误的最大概率 α, 不考虑犯第二类错误的概率 β。这样的假设 检验又称为显著性检验,概率 α 称为显著性水平。

最常用的 α 值为 0.01、0.05、0.10 等。一般情况下,根据研究的问题,如果放弃真假设损失大,为减少这类错误,α 取值小些 ,反之,α 取值大些。

备择假设

备择假设(alternative hypothesis)是统计学的基本概念之一,其包含关于总体分布的一切使原假设不成立的命题。备择假设亦称对立假设、备选假设。

备择假设可以替代零假设。

例如我们对于学生的评估,我们将采取:

“学生比平均水平差” -— 作为零假设

“学生优于平均水平” —— 作为替代假设。

单边检验

单边检验(one-sided test)亦称单尾检验,又称单侧检验,在假设检验中,用检验统计量的密度曲线和二轴所围成面积中的单侧尾部面积来构造临界区域进行检验的方法称为单边检验。

当我们的假设仅测试值的一侧时,它被称为"单尾测试"。

例子:

对于零假设:

“均值等于 k”

我们可以有替代假设:

“平均值小于 k”

“平均值大于 k”

双边检验

边检验(two-sided test),亦称双尾检验、双侧检验.在假设检验中,用检验统计量的密度曲线和x轴所围成的面积的左右两边的尾部面积来构造临界区域进行检验的方法。

当我们的假设测试值的两边时。

例子:

对于零假设:

“均值等于 k”

我们可以有替代假设:

“均值不等于k”

在这种情况下,均值小于或大于 k,两边都要检查。

阿尔法值

阿尔法值是显著性水平。

显著性水平是估计总体参数落在某一区间内,可能犯错误的概率,用 α 表示。

数据必须有多接近极端才能拒绝零假设。

通常取为 0.01、0.05 或 0.1。

P 值

P 值表明数据实际接近极端的程度。

比较 P 值和阿尔法值(alpha)来确定统计显著性水平。

如果 p 值 <= alpha,我们拒绝原假设并说数据具有统计显著性,否则我们接受原假设。

T 检验(T-Test)

T 检验用于确定两个变量的均值之间是否存在显著差异,并判断它们是否属于同一分布。

这是一个双尾测试。

函数 ttest_ind() 获取两个相同大小的样本,并生成 t 统计和 p 值的元组。

查找给定值 v1 和 v2 是否来自相同的分布:

实例

import numpy as np
from scipy.stats import ttest_indv1 = np.random.normal(size=100)
v2 = np.random.normal(size=100)res = ttest_ind(v1, v2)print(res)

输出结果为:

Ttest_indResult(statistic=0.40833510339674095, pvalue=0.68346891833752133)

如果只想返回 p 值,请使用 pvalue 属性:

实例

import numpy as np
from scipy.stats import ttest_indv1 = np.random.normal(size=100)
v2 = np.random.normal(size=100)res = ttest_ind(v1, v2).pvalueprint(res)

输出结果为:

0.68346891833752133

KS 检验

KS 检验用于检查给定值是否符合分布。

该函数接收两个参数;测试的值和 CDF。

CDF 为累积分布函数(Cumulative Distribution Function),又叫分布函数。

CDF 可以是字符串,也可以是返回概率的可调用函数。

它可以用作单尾或双尾测试。

默认情况下它是双尾测试。 我们可以将参数替代作为两侧、小于或大于其中之一的字符串传递。

查找给定值是否符合正态分布:

实例
import numpy as np
from scipy.stats import kstestv = np.random.normal(size=100)res = kstest(v, 'norm')print(res)

输出结果为:

KstestResult(statistic=0.047798701221956841, pvalue=0.97630967161777515)

数据统计说明

使用 describe() 函数可以查看数组的信息,包含以下值:

  1. nobs -- 观测次数

  1. minmax -- 最小值和最大值

  1. mean -- 数学平均数

  1. variance -- 方差

  1. skewness -- 偏度

  1. kurtosis -- 峰度

显示数组中的统计描述信息:

实例

import numpy as np
from scipy.stats import describev = np.random.normal(size=100)
res = describe(v)print(res)

输出结果为:

DescribeResult(nobs=100,minmax=(-2.0991855456740121, 2.1304142707414964),mean=0.11503747689121079,variance=0.99418092655064605,skewness=0.013953400984243667,kurtosis=-0.671060517912661)

正态性检验(偏度和峰度)

利用观测数据判断总体是否服从正态分布的检验称为正态性检验,它是统计判决中重要的一种特殊的拟合优度假设检验。

正态性检验基于偏度和峰度。

normaltest() 函数返回零假设的 p 值:

“x 来自正态分布”

偏度

数据对称性的度量。

对于正态分布,它是 0。

如果为负,则表示数据向左倾斜。

如果是正数,则意味着数据是正确倾斜的。

峰度

衡量数据是重尾还是轻尾正态分布的度量。

正峰度意味着重尾。

负峰度意味着轻尾。

查找数组中值的偏度和峰度:

实例

import numpy as np
from scipy.stats import skew, kurtosisv = np.random.normal(size=100)print(skew(v))
print(kurtosis(v))

输出结果为:

 0.11168446328610283-0.1879320563260931

查找数据是否来自正态分布:

实例

import numpy as np
from scipy.stats import normaltestv = np.random.normal(size=100)print(normaltest(v))

输出结果为:

NormaltestResult(statistic=4.4783745697002848, pvalue=0.10654505998635538)

参考资料:https://www.runoob.com/scipy/scipy-significance-tests.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.exyb.cn/news/show-4561831.html

如若内容造成侵权/违法违规/事实不符,请联系郑州代理记账网进行投诉反馈,一经查实,立即删除!

相关文章

LRU 缓存机制 设计和实现一个 LRU(最近最少使用)缓存数据结构

题目&#xff1a;LRU 缓存机制 设计和实现一个 LRU&#xff08;最近最少使用&#xff09;缓存数据结构&#xff0c;使它应该支持一下操作&#xff1a;get 和 put。 get(key) - 如果 key 存在于缓存中&#xff0c;则获取 key 的 value&#xff08;总是正数&#xff09;&#xff…

java+pom.xml+是什么_pom.xml详解

转载自(http://elim.iteye.com/blog/2055745)什么是POM&#xff1f;POM是项目对象模型(Project Object Model)的简称,它是Maven项目中的文件&#xff0c;使用XML表示&#xff0c;名称叫做pom.xml。作用类似ant的build.xml文件&#xff0c;功能更强大。该文件用于管理&#xff1…

为什么switch case语句需要加入break

假设我们有如下这样一个switch语句&#xff1a;Java代码 public static void test(int index) { switch (index) { case 1: System.out.println(1); case 2: System.out.println(2); case 3: System.out.println(3); def…

【数据库】关于sql中case when 使用时零的转换问题

在写语句的时候发现case when 得到的数据不对&#xff0c;一开始以为是convert的问题&#xff0c;后来更改了还是不对&#xff0c;写了几个例子&#xff0c;为了防止以后自己再犯错。 忘记了类型问题&#xff0c;一边是字符串才会返回字符串类型&#xff0c;都是数值无法返回。…

echarts饼图圆环图数据为0时字体重叠

在echarts图标中有时候会出现数据过小字体重叠的问题&#xff0c; 解决方法&#xff0c;可将series中的avoidLabelOverlap属性值设置为true即可解决

matlab短时过零率计算+源代码

[xx,Fs]audioread(mei.wav); % 读入数据文件 xxx-mean(xx); % 消除直流分量 wlen200; inc80; % 设置帧长、帧移 winhanning(wlen); % 窗函数 Nlength(x); % 求数据长度 Xenframe(x,win,in…

Cisco Packet Tracer 8.2.x Crack

Cisco Packet Tracer 是一个网络模拟器。有了这款功能强大的软件&#xff0c;用户可以在模拟和安全的环境中学习所有网络主题&#xff0c;而无需花费很多钱。它是网络主题模拟和培训领域中最受欢迎的应用程序之一&#xff0c;因为它提供了这样做所需的所有功能。Packet Tricer …

Kaggle无法出现人机验证的解决办法

之前在电脑下载插件&#xff0c;扩展到浏览器都没成功。 因此我直接在手机上使用VPN翻墙了&#xff0c;我使用的是旋风加载器&#xff0c;但每天就2小时可用&#xff0c;但也够了。 具体说下步骤吧&#xff0c; 先去找个旋风加载器的app链接&#xff0c;在手机上下载下来然后…

mod php5模块,linux - 安装mod_php5模块, 实现apache对php的支持, 这个东西怎么理解?? - 人机验证...

...lass> 说明&#xff1a; codeBase"test.CAB#version9,0,0,1" codeBase表示文件相对或者绝对路径&#xff1b;version表示版本号&#xff0c;如果这个号和INF文件的...php 不是有自己的解析器吗?apache 只是将url请求对应到本地服务器的磁盘文件,发现该文件是.…

2021软件工程复习整理

1.软件的概念&#xff1a; 计算机软件指计算机系统中的程序及其文档。 程序是计算任务的处理对象和处理规则的描述。 文档是为了便于了解程序所需的阐明性资料。 2.软件工程的定义&#xff1a; 软件工程是将系统化的、严格约束的、可量化的方法应用于软件的开发、运行和维护&am…

直播回顾 | 手机银行人机验证的必要性和可行性

人机验证作为手机银行验证体系中重要的一环&#xff0c;其验证码的安全性以及用户体验成为了主要考验。 顶象资深解决方案专家鳯羽就手机银行的人机验证解决方案讲起&#xff0c;从人机验证需求的诞生、验证码的发展演变、手机银行验证码升级的必要性等方面为大家深度剖析了手…

利用Python解决掉谷歌人机验证,全自动识别真的牛啊

一、接触前感受 第一次带我领略yolov5风骚的是这个视频&#xff1a;【亦】警惕AI外挂&#xff01;我写了一个枪枪爆头的视觉AI&#xff0c;又亲手“杀死”了它。 这样一来&#xff0c;我对人工智能打游戏产生了浓厚的兴趣&#xff0c;于是在B站查找人工智能基础&#xff0c;随…

11月25日在线研讨会 | 整车人机工效仿真及虚拟验证

多元化内饰装配方案在提升座舱科技感的同时&#xff0c;也为驾驶员的视觉环境带来了更多的光学干扰&#xff0c;包括阳光眩目、饰条饰件高亮反光、视野区域倒影成像等。基于整车人机工效仿真及虚拟验证解决方案&#xff0c;可以在设计初期模拟车辆在不同驾驶场景、驾驶时间、驾…

110、【树与二叉树】leetcode ——108. 将有序数组转换为二叉搜索树:二分查找树(C++版本)

题目描述 原题链接&#xff1a;108. 将有序数组转换为二叉搜索树 解题思路 为了构建平衡二叉搜索树&#xff0c;可采用二分的方式&#xff0c;构建一个二分查找搜索树。因此&#xff0c;本题的关键就在于切割点&#xff0c;划分出左右区间&#xff0c;然后继续向下进行切割。…

Rockchip开发系列 - 3.2.引脚配置默认上拉下拉

By: fulinux E-mail: fulinux@sina.com Blog: https://blog.csdn.net/fulinus 喜欢的盆友欢迎点赞和订阅! 你的喜欢就是我写作的动力! 目录 返回总目录:Rockchip开发系列 - 总目录 开发过程中发现rk3568-linux.dtsi中耳机监测应急一直是处于低电平状态: 这个gpio表格也说…

四川嘉弘恒信:拼多多店铺广告主怎么开

其实在给拼多多店铺的产品进行推行时&#xff0c;各位卖家也能够结合自己店铺的实际情况去进行操作&#xff0c;如果想要经过付费推行来操作&#xff0c;那就应该要去了解一下拼多多的推行费用到底是怎样核算的。 首要商家要知道推行计费的办法分为按点击(cpc)&#xff0c;弹出…

嘉弘恒信:拼多多国庆期间涉农订单同比增长279%

作为国内前列的农产品上行平台&#xff0c;拼多多迎来了农产品销售的黄金周。据悉&#xff0c;假期内产生的涉农订单相较去年同期上涨279%&#xff0c;山西运城苹果、山东沾化冬枣、四川会理石榴和江苏固城湖、洪泽湖大闸蟹等全国各地的标志性农产品尤受欢迎。 拼多多数据显示&…

恒信汽车php,庐阳区恒信汽车博览中心获批省级服务业集聚区

近日&#xff0c;据省发改委透露&#xff0c;庐阳区恒信汽车博览中心获批省级服务业集聚区。集聚区东至蒙城北路&#xff0c;西至高皇路&#xff0c;南至凌湖路&#xff0c;北至耀远路&#xff0c;占地面积540亩&#xff0c;定位中高端汽车品牌&#xff0c;规划有中端合资品牌4…

【CSDN英雄会】恒信彩虹赵中:我的十年CTI技术

英雄会是CSDN旗下针对国内IT技术领域专家展示和交流的平台。通过线下线上的互动形式&#xff0c;为CSDN社区专家提供更多学习、合作、宣传的机会。英雄会后续将在北上广深等国内一二线城市建立分会&#xff0c;各个分会后期将组织技术交流活动。 恰逢11月18日-20日&#xff0c;…

嘉弘恒信|拼多多商品换类目有什么要求?

现在很多新手商家入驻拼多多&#xff0c;但是在商品选择类目的时候可不是那么随意的事情&#xff0c;但是很多小伙伴会选错&#xff0c;今天小编就给各位分享关于拼多多商家修改类目的需要什么资质。一.修改条件1.首先需要店铺已经缴纳了保证金。2.店铺后台没有商品任何上下架的…