第十三章 實驗設(shè)計與方差分析

參考書目為安德森的《商務(wù)與經(jīng)濟(jì)統(tǒng)計》,以下為個人的學(xué)習(xí)總結(jié),如果有錯誤歡迎指正。有需要本書pdf的,鏈接在本文末尾。(僅限個人學(xué)習(xí)使用,請勿牟利)

第十三章 實驗設(shè)計與方差分析

統(tǒng)計研究分實驗性研究和觀測性研究。前者需要控制無關(guān)變量,通過實驗產(chǎn)生我們需要的數(shù)據(jù),后者往往通過抽樣調(diào)查等方式獲得。
本章介紹三種類型的實驗設(shè)計:完全隨機化設(shè)計、隨機化區(qū)組設(shè)計和析因?qū)嶒灐?/p>

13.1 實驗設(shè)計和方差分析簡介

例子:供水過濾系統(tǒng)的部件組裝方法有A、B和C。問題:哪種方法使每周產(chǎn)量最多。

在這個實驗中,裝備方法是獨立變量因子(factor)。對應(yīng)三種方法,所以這個實驗有三個處理,每個處理(treatment)對應(yīng)一種裝配方法。并且是單因子實驗(single-factor experiment),因為只涉及裝配方法一個因子。也可以有多因子,因子分定性和定量的。

該實驗對應(yīng)三個總體:三個總體分別使用A、B和C其中一種方法。每個總體的因變量響應(yīng)變量是每周裝配的過濾系統(tǒng)的數(shù)量。

實驗?zāi)康模捍_定三個總體的因變量是否相同。
假設(shè)我們抽取三名工人組成一個隨機樣本,三名工人構(gòu)成實驗單元,下面將使用完全隨機化設(shè)計(completely randomized design),要求每種方法隨機給其中一個工人,這里相當(dāng)于工有A_3^3種分配方法。(隨機化的概念是所有實驗設(shè)計的一個重要原則

上述方法,每個裝配方法只能得到一個因變量的測度,但是我們可以隨機抽15個人,每種方法隨機分5人。這樣就得到了更多因變量的測度。這個過程叫復(fù)制。(復(fù)制的過程是實驗設(shè)計的另一個重要原則。

13.1.1 數(shù)據(jù)收集

通過收集數(shù)據(jù)得到

image

我們?yōu)榱肆私馊N裝配方法的總體均值是否不同,引入\mu_1、\mu_2\mu_3分別為A、B和C三種方法每周生產(chǎn)數(shù)量的總體均值。
假設(shè):H_0:\mu_1=\mu_2=\mu_3 H_a:總體均值不全相等
再使用方差分析(ANOVA)統(tǒng)計方法來確定三個樣本均值之間的差異是否大到可以拒絕H_0

13.1.2 方差分析的假定

應(yīng)用方差分析需要三個假定:

  1. 對每個總體,響應(yīng)變量服從正態(tài)分布。——每種裝配方法每周生產(chǎn)的過濾系統(tǒng)數(shù)量服從正態(tài)分布。
  2. 響應(yīng)變量的方差,記為\sigma^2,對所有總體都是相同的?!糠N裝配方法,每周生產(chǎn)的過濾系統(tǒng)數(shù)量的方差必須相同。
  3. 觀測值必須是獨立的?!獙?yīng)每個工人每周生產(chǎn)的過濾系統(tǒng)數(shù)量與其它工人每周生產(chǎn)的過濾系統(tǒng)數(shù)量獨立。

13.1.3 方差分析:概念性綜述

樣本均值彼此接近,則越支持H_0,反之支持H_a
如果原假設(shè)(H_0:\mu_1=\mu_2=\mu_3)成立,我們利用樣本均值之間地變異性簡歷\sigma^2的一個估計。則所有樣本都來自同一個總體。這些樣本均值\bar x同樣服從正態(tài)分布,且均值為\mu,方差為\sigma^2/n 。
回到過濾系統(tǒng)的例子中,我們假設(shè)\bar x_1=62,\bar x_2=66,\bar x_3=52都來自同一個總體(樣本容量相同),\bar x抽樣分布的均值的估計值為:(62+66+52)/3=60,\bar x抽樣分布的方差\sigma_{\bar x}^2的估計可以由三個樣本均值的方差給出\sigma_{\bar x}^2=\frac{(62-60)^2+(66-60)^2+(52-60)^2}{3-1}=52。
再由\sigma_{\bar x}^2=\sigma^2/n解得\sigma^2=n\sigma_{\bar x}^2=5 \times 52=260因為\sigma_{\bar x}^2是用s_{\bar x}^2作為估計量,所以這里得\sigma^2也是估計量。
所得的結(jié)果n\sigma_{\bar x}^2=260稱作\sigma^2的處理間估計。

上述都是基于H_0為真的情形,如果H_0為假,且均值全不相同,則三個抽樣分布來自三個總體。于是\sigma_{\bar x}^2會比較大,從而使得\sigma^2的處理間估計也變得較大。

image

當(dāng)我們從每個總體抽取一個隨機樣本時,每個樣本方差都給出了\sigma^2的一個無偏估計,我們將\sigma^2的個別估計組合或合并成一個總體估計。這種方法得到值稱作\sigma^2的合并估計或處理內(nèi)估計。因為這里的每個樣本方差給出的\sigma^2的估計僅以每個樣本內(nèi)部的變異為依據(jù)。
\sigma^2的處理內(nèi)估計=\frac{27.5+26.5+31.0}{3}=\frac{85}{3}=28.33

我們看到\sigma^2的處理間估計(260)遠(yuǎn)大于處理內(nèi)估計(28.33),比值為9.18。
當(dāng)原假設(shè)為真,處理間估計方法才是總體方差\sigma^2的一個好的估計量,
當(dāng)原假設(shè)為假,處理間估計將高估總體方差\sigma^2。
不過這兩種情形下,處理內(nèi)估計都是總方差\sigma^2的一個好的估計量。因此原假設(shè)為真,兩估計量接近,比值接近1;如果原假設(shè)為假,則處理間估計將大于處理內(nèi)估計,比值也會比較大。

總結(jié)
ANOVA背后的邏輯是以共同總體方差\sigma^2的兩個獨立的估計量為基礎(chǔ),即處理間估計和處理內(nèi)估計。通過比較兩個估計量,來確定總體均值是否相等。

13.2 方差分析和完全隨機化實驗設(shè)計

完全隨機化實驗設(shè)計中,如何用方差分析來檢驗k個總體均值是否相等:

  • 一般性假設(shè):H_0:\mu_1=\mu_2=\mu_3 H_a:k個總體均值不全相等
  • \mu_j為第j個總體的均值,n_j為第j個總體的簡單隨機樣本的容量,
  • 樣本數(shù)據(jù)x_{ij}代表第j個處理(對應(yīng)一個總體)第i個觀測值;\bar x_j代表第j個樣本的均值,s_j^2代表第j個處理的樣本方差,s_j為第j個處理的樣本標(biāo)準(zhǔn)差。
  • 樣本數(shù)據(jù)的計算
    • \bar x_j=\frac{\sum\limits_{i=1}^{n_j} x_{ij}}{n_j}
    • s_j^2=\frac{\sum\limits_{i=1}^{n_j}(x_{ij}-\bar x_j)^2}{n_j-1}
  • 總體樣本均值記作\bar{\bar x}=\frac{\sum\limits_{j=1}^{k}\sum\limits_{i=1}^{n_j}x_{ij}}{n_r}
    • 觀測中總數(shù)n_r=n_1+n_2+\cdots+n_k
    • 如果每個樣本容量相等,則n_r=kn,則\bar {\bar x}=\frac{\sum\limits_{j=1}^{k} \bar x_j}{k}

13.2.1 總體方差的處理間估計

我們稱處理間估計的\sigma^2均方處理(mean square due to treatments, MSTR)
MSTR=\frac{\sum\limits_{j=1}^{k}n_j(\bar x_j-\bar {\bar x})^2}{k-1}
式中分子稱作處理平方和(sum of squares due to treatments, SSTR)。分母k-1表示與SSTR相聯(lián)系的自由度。
均方處理
MSTR=\frac{SSTR}{k-1}
SSTR=\sum\limits_{j=1}^{k}n_j(\bar x_j-\bar {\bar x})^2

H_0為真,則MSTR給出了\sigma^2的一個無偏估計。但H_0為假時,則MSTR就不是\sigma^2的無偏估計,會高估總體方差\sigma^2

回到例子:
SSTR=\sum\limits_{j=1}^{k}n_j(\bar x_j-\bar {\bar x})^2=5\times(62-60)^2+5\times(66-60)^2+5\times(52-60)^2=520
MSTR=\frac{SSTR}{k-1}=260

13.2.2 總體方差的處理內(nèi)估計

\sigma^2的處理內(nèi)估計稱作均方誤差(mean square due to error,MSE)
MSE=\frac{\sum\limits_{j=1}^{k}(n_j-1)s_j^2}{n_r-k}
分子稱作誤差平方和(sum of squares due to error,SSE)

均方誤差
MSE=\frac{SSE}{n_r-k}
SSE=\sum\limits_{j=1}^{k}(n_j-1)s_j^2

我們注意到:MSE是以每個處理內(nèi)部的變異性為依據(jù),它不受原假設(shè)是否為真的影響。因此,MSE永遠(yuǎn)給出\sigma^2的一個無偏估計

回到例子:
SSE=\sum\limits_{j=1}^{k}(n_j-1)s_j^2=(5-1)\times27.5+(5-1)\times26.5+(5-1)\times31=340
MSE=\frac{SSE}{n_r-k}=\frac{340}{15-3}=28.33

13.2.3 方差估計量的比較:F檢驗

如果原假設(shè)H_0為真,則MSTR和MSE給出的\sigma^2的兩個獨立的無偏估計量。\sigma^2的兩個獨立的估計量紙幣的抽樣分布服從F分布。

k個總體均值相等的檢驗統(tǒng)計量:
F=\frac{MSTR}{MSE}
檢驗統(tǒng)計量服從分子自由度為k-1,分母自由度為n_r-k的F分布(ANOVA的假定要得到滿足)

回到生產(chǎn)過濾系統(tǒng)的例子:在\alpha=0.05的顯著水平下,進(jìn)行假設(shè)實驗,我們計算得到F=\frac{MSTR}{MSE}=\frac{260}{28.33}=9.18,分子自由度為2,分母自由度為12.

image

由于我們不希望F過大,所以根據(jù)EXCEL的計算,在上述自由度下,F(xiàn)=9.18時,上側(cè)面積為0.0038<0.05,因此我們拒絕H_0,三個總體均值是不相等的。

當(dāng)然也可以用臨界值法,當(dāng)\alpha=0.05時,F(xiàn)的臨界值是3.8853<9.18。所以也拒絕H_0

總結(jié)

image

13.2.4 ANOVA表

前面的計算結(jié)果,可以使用方差分析表ANOVA表表示出來。一個完全隨機化實驗設(shè)計的ANOVA表的一般形式如下:

image

在上面的列表中,方差來源有SSTR和SSE,他們倆的總計被稱作總平方和(SST),且SST=SSTR+SSE,并且自由度也是SSTR以及SSE的自由度的和。

總平方和SST的計算公式:SST=\sum\limits_{j=1}^{k}\sum\limits_{i=1}^{n_j}(x_{ij}-\bar {\bar x})^2
且:SST=SSTR+SSE
我們可以吧SST看作“處理平方和”與“誤差平方和”的和。且自由度n_r-1也可由對應(yīng)的SSTR和SSE的自由度加起來。
方差分析可以被看作將總平方和及其自由度分解成它們對應(yīng)的來源(處理與誤差)的一個過程。

13.2.5 方差分析的計算機輸出結(jié)果

image

上圖為MINITAB的計算結(jié)果,Pooled StDev是用來估計\sigma的,右下角的區(qū)間估計,三種方法的邊際誤差都是一樣的這里的邊際誤差=t_{\alpha/2}\frac{s}{\sqrt{n}}=2.179\times \frac{5.323}{\sqrt{n}}=5.19。這里統(tǒng)一使用的誤差平方和的自由度12(我也不知道為什么,我覺得好像應(yīng)該用14,后面再研究)

13.2.6 k個總體均值相等的檢驗:一項觀測性研究

例子:NCP公司對工廠員工的生產(chǎn)意識進(jìn)行考試,共有3個工廠,每個工廠抽取6人。成績?nèi)缦拢?br>

image

假設(shè):H_0:\mu_1=\mu_2=\mu_3 H_a:總體均值不全相等

總結(jié)

  1. 當(dāng)每個樣本都是n個觀測值構(gòu)成,則MSTR=\frac{\sum\limits_{j=1}^{k}n_j(\bar x_j-\bar {\bar x})^2}{k-1}=n\left[\frac{\sum\limits_{j=1}^{k}(\bar x_j-\bar {\bar x})^2}{k-1}\right]=ns_{\bar x}^2
  2. 當(dāng)每個樣本都是n個觀測值構(gòu)成,則MSE=\frac{\sum\limits_{j=1}^{k}(n_j-1)s_j^2}{n_r-k}=\frac{(n-1)\sum\limits_{j=1}^{k}s_j^2}{k(n-1)}=\frac{\sum\limits_{j=1}^{k}s_j^2}{k}

13.3 多重比較方法

方差分析只能告訴我們k個總體均值是否相等,但是具體哪些總體相等,哪些不相等,我們需要用多重比較方法在成對的總體均值之間進(jìn)行統(tǒng)計比較。

13.3.1 Fisher的LSD方法

在方差分析鐘拒絕了H_0,在這種情況下Fisher的最小顯著性差異(least significant difference,LSD)方法可以用來確定哪些均值存在差異。

Fisher的LSD方法

H_0:\mu_i=\mu_j
H_a:\mu_i \neq \mu_j
檢驗統(tǒng)計量:
t=\frac{\bar x_i-\bar x_j}{\sqrt{MSE\left(\frac{1}{n_i}+\frac{1}{n_j}\right)}}
拒絕法則:
p-值法:如果 p-值\leq \alpha,則拒絕H_0
臨界值法:如果 t\leq -t_{\alpha/2}或者t\geq t_{\alpha/2},則拒絕H_0
其中t_{\alpha/2}是自由度為n_r-k時,t分布的上側(cè)面積為\alpha/2的t值。
我們令\alpha=0.05,判斷總體1(方法A)和總體2(方法B)的均值是否存在差異。
t=\frac{\bar x_i-\bar x_j}{\sqrt{MSE\left(\frac{1}{n_i}+\frac{1}{n_j}\right)}}=\frac{62-66}{\sqrt{MSE\left(\frac{1}{5}+\frac{1}{5}\right)}}=-1.19

經(jīng)過excel計算,t=-1.19,自由度為12時,的下側(cè)面積為0.1285,雙側(cè)加起來即為p-值=0.2571>0.05所以,我們拒絕原假設(shè),認(rèn)為方法1和方法2的均值不相等。

基于檢驗統(tǒng)計量\bar x_i-\bar x_j的Fisher的LSD方法
H_0:\mu_i=\mu_j
H_a:\mu_i \neq \mu_j
檢驗統(tǒng)計量:
\bar x_i-\bar x_j
顯著水平\alpha下的拒絕法則:如果|\bar x_i-\bar x_j|>LSD,則拒絕H_0
其中:LSD=t_{\alpha/2}\sqrt{MSE\left(\frac{1}{n_i}+\frac{1}{n_j}\right)}

在過濾系統(tǒng)的例子中,通過計算得到LSD=t_{\alpha/2}\sqrt{MSE\left(\frac{1}{n_i}+\frac{1}{n_j}\right)}=2.179\sqrt{28.33\left(\frac{1}{5}+\frac{1}{5}\right)}=7.34

計算后,我們可以把三個總體的樣本均值計算出來,比如總體1和總體3的樣本均值差為62-52=10>7.34,這就意味著我們拒絕認(rèn)為總體1和總體3均值相等。

Fisher的LSD方法的兩個總體均值之差的置信區(qū)間估計
\bar x_i-\bar x_j \pm LSD
LSD=t_{\alpha/2}\sqrt{MSE\left(\frac{1}{n_i}+\frac{1}{n_j}\right)}
其中t_{\alpha/2}是自由度為n_r-k時,t分布的上側(cè)面積為\alpha/2的t值。

如果置信區(qū)間包含數(shù)值0,則不能拒絕兩個總體均值相等的原假設(shè)。如果不包含則拒絕H_0

13.3.2 第一類錯誤

Fisher的LSD方法被稱為保護(hù)性或限制性LSD檢驗,這是因為只有當(dāng)我們首先找到一個用于方差分析的顯著的F值時,才能使用LSD檢驗。
第Ⅰ類錯誤概率實驗方式的第Ⅰ類錯誤概率

image

我們都是用\alpha=0.05的顯著水平,對每個檢驗來說犯第Ⅰ類錯誤的概率為0.05,我們把這個概率稱作比較方式的第Ⅰ類錯誤概率,表示單個的兩兩比較相聯(lián)系的顯著性水平。
在三次檢驗中至少有一次犯第Ⅰ類錯誤的概率為1-0.95^3=0.1426,我們稱這個概率為實驗方式的第Ⅰ類錯誤概率,記作\alpha_{EW}
當(dāng)總體較多時,實驗方式的第Ⅰ類錯誤概率就會比較大。

如何控制\alpha_{EW}呢?-使用Bonferrani修正方法
假設(shè)我們想要檢驗C個成對的兩兩比較(C=C_n^2
我們令\alpha=\frac{\alpha_{EW}}{C},例如針對5個總體,10種比較,想讓實驗方式的第Ⅰ類錯誤概率為0.05,則\alpha=\frac{\alpha_{EW}}{C}=\frac{0.05}{10}=0.005

但是一類錯誤和二類錯誤是成反比的,所以如何去權(quán)衡是個問題。也有其他方法,如Turkey方法、Duncan多重區(qū)域檢驗等,哪種更優(yōu)有爭議。

13.4 隨機化區(qū)組設(shè)計

F=\frac{MSTR}{MSE}
有時外部因素(實驗中沒有考慮到的因素)引起MSE變大時,F(xiàn)將會變小。讓我們誤以為處理間沒有差異,但是事實上是存在的。

本節(jié)將會介紹隨機化區(qū)組設(shè)計(randomized block design)的實驗設(shè)計。這個方法主要是通過消除MSE來自外部的變異,來達(dá)到控制變異外部來源的目的。

13.4.1 空中交通管理員工作壓力測試

舉例:探究不同工作系統(tǒng)是否產(chǎn)生不同的壓力?,F(xiàn)有3種設(shè)計方案,我們要探究不同方案之間有多大差異。
管理者希望管理員個人的變異性是MSE項的主要貢獻(xiàn)者,將個人差異分離出來的一種辦法是使用隨機化區(qū)組設(shè)計。隨機化區(qū)組需要管理員的一個單樣本,分別在三個工作站接受檢驗。即工作站是影響因子,管理員是區(qū)組。(后面簡稱工作站為系統(tǒng)A、B和C)

每個個體都需要接受三次檢驗,檢驗順序也需要是隨機的。值是工作壓力的度量。


image

截屏2020-12-27 10.19.49

13.4.2 ANOVA方法

隨機化區(qū)組設(shè)計的ANOVA方法,要求我們將總平方和(SST)分解成:處理平方和(SSTR)、區(qū)組平方和(SSBL)和誤差平方和(SSE)。
SST=SSTR+SSBL+SSE

image

  • k:處理的個數(shù)
  • b:區(qū)組的個數(shù)
  • n_r=kb:總樣本容量

隨機化區(qū)組設(shè)計,主要功能就是通過劃分區(qū)組,將個人的差異從MSE中剔除。

13.4.3 計算與結(jié)論

  • x_{ij}代表區(qū)組i中對應(yīng)處理j的觀測值
  • \bar x_{.j}代表第j個處理的樣本均值
  • \bar x_{i.}代表第i個區(qū)組的樣本均值
  • \bar {\bar x}

步驟:

  1. 計算平方和SST=\sum\limits_{i=1}^\sum\limits_{j=1}^{k}(x_{ij}-\bar {\bar x})^2
  2. 計算處理平方和SSTR=b\sum\limits_{j=1}^{k}(x_{.j}-\bar {\bar x})^2
  3. 計算區(qū)組平方和SSBL=k\sum\limits_{i=1}^(x_{i.}-\bar {\bar x})^2
  4. 計算誤差平方和SSE=SST-SSTR-SSBL

計算得到:

image

F=\frac{MSTR}{MSE}=\frac{10.5}{1.9}=5.53
分子、分母對應(yīng)自由度為2和10,在F=5.53時的上側(cè)面積即p-值為0.024<0.05則我們拒絕H_0:\mu_1=\mu_2=\mu_3

上述的例子是完全區(qū)組設(shè)計,即每個區(qū)組都要做k個處理。對應(yīng)不完全區(qū)組設(shè)計,即某些(不是全部)處理被用于每個區(qū)組(如每個人都完成了系統(tǒng)A和B的檢驗,只有個別人完成了系統(tǒng)C的檢驗)

注釋
由于有b個區(qū)組,使得自由度減少了b-1,所以隨機化區(qū)組設(shè)計的誤差自由度小雨完全隨機化設(shè)計的誤差自由度。如果n很小,因為誤差自由度的減少,區(qū)組的潛在影響可能被掩蓋;當(dāng)n很大時,這種影響被最小化了。

13.5 析因?qū)嶒?/h3>

有時,我們需要得到一個以上變量或因子的統(tǒng)計結(jié)論。析因?qū)嶒灒╢actorial experiment)是一種實驗設(shè)計。

舉例:GMAT考試(商學(xué)院研究生考試),分?jǐn)?shù)在200~800之間?,F(xiàn)在有3種GMAT輔導(dǎo)課程??忌究苼碜?種類型的院校。對應(yīng)有9種處理組合,每個處理組合容量為2,意味著有兩個復(fù)制。
從種類型學(xué)校,每個學(xué)校取6人,分三組,隨機分配到一個輔導(dǎo)課程。

image

我們希望得到的答案:

  • 主影響(因子A):輔導(dǎo)課程的不同是否對GMAT成績有影響。
  • 主影響(因子B):本科院校的不同是否對GMAT成績有影響。
  • 交互影響(因子A和B):輔導(dǎo)課程類型的影響是否取決于本科院校。

13.5.1 ANOVA方法

兩因子析因?qū)嶒灥腁NOVA方法要求我們將總平方和(SST)分為四個部分:因子A的平方和(SSA)、因子B的平方和(SSB)、交互作用的平方和(SSAB)、誤差平方和(SSE)。
SST=SSA+SSB+SSAB+SSE

image

  • a代表因子A的水平數(shù)
  • b代表因子B的水平數(shù)
  • r代表復(fù)制的個數(shù)
  • n_r=abr觀測值總數(shù)

15.5.2 計算與結(jié)論

  • x_{ijk}對應(yīng)因子A處理i和因子B的處理j的第k次重復(fù)
  • \bar x_{i.}處理i(因子A)的觀測值樣本均值
  • \bar x_{.j}處理j(因子B)的觀測值樣本均值
  • \bar x_{ij}對應(yīng)處理i(因子A)和處理j(因子B)的組合觀測值樣本均值
  • \bar {\bar x}n_r個觀測值的總樣本均值
  1. 計算總平方和SST=\sum\limits_{i=1}^{a}\sum\limits_{j=1}^\sum\limits_{k=1}^{r}(x_{ijk}-\bar {\bar x})^2
  2. 計算因子A的平方和SSA=br\sum\limits_{i=1}^{a}(\bar x_{i.}-\bar {\bar x})^2
  3. 計算因子B的平方和SSB=ar\sum\limits_{j=1}^(\bar x_{.j}-\bar {\bar x})^2
  4. 計算交互作用的平方和SSAB=r\sum\limits_{i=1}^{a}\sum\limits_{j=1}^(\bar x_{ij}-\bar x_{i.}-\bar x_{.j}+\bar {\bar x})^2
  5. 計算誤差平方和SSE=SST-SSA-SSB-SSAB

得到計算結(jié)果:


image

一般中型到大型的析因?qū)嶒炛猩婕按罅坑嬎?,需要用計算機。


image

綜上,

  • 課程(因子A)對GMAT成績影響,差異不顯著。
  • 本科院校(因子B)對GMAT成績影響,差異顯著
  • 最后交互影響由于p-值>0.05,即不存在顯著的交互作用的影響。

鏈接: https://pan.baidu.com/s/1fc0q-Q4kj3g-7Fr4MHZaqw 提取碼: 333c 復(fù)制這段內(nèi)容后打開百度網(wǎng)盤手機App,操作更方便哦

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容