メタアナリシス（）とは、共通の研究課題に取り組む複数の独立した研究から得られた定量的データを統合する手法である。この手法の重要な部分は、全ての研究にわたる統合効果量を計算することを含む。メタ分析、メタ解析とも言う。このような統計的アプローチは、様々な研究からと分散測定値を抽出することを含む。これらの効果量を組み合わせることで統計的検出力が向上し、個々の研究で見られる不確実性や不一致を解決することができる。メタアナリシスは、研究助成金の申請を支援し、治療ガイドラインを形成し、健康政策に影響を与える上で不可欠である。また、将来の研究を導くために既存の研究を要約する上でも重要な役割を果たし、それによってメタサイエンスの基本的な方法論としての地位を確立している。メタアナリシスは、多くの場合（ただし常にではない）システマティック・レビューの重要な構成要素となる。ランダム化比較試験（RCT）のメタアナリシスは、根拠に基づく医療 (EBM) において、最も質の高い根拠とされる。メタアナリシスは科学的総合の重要な部分だが、メタアナリシスを理解せずに結論を受け入れるのは危険である。
メタアナリシスという言葉は、情報の収集から吟味解析までのシステマティック・レビューと同様に用いられることがある。厳密に区別する場合、メタアナリシスはデータ解析の部分を指す。また、メタアナリシスとシステマティックレビューをまとめてリサーチ・シンセシスとも言う。 歴史
「メタアナリシス」という用語は、1976年に統計学者によって造られた。グラスは「メタアナリシスとは分析の分析を指す」と述べた。グラスの研究は、関係性と効果の集約的な測定を記述することを目的としていた。グラスは最初の現代的なメタアナリシスの著者として認められているが、1904年に統計学者カール・ピアソンが『ブリティッシュ・メディカル・ジャーナル』に発表した論文は、腸チフスの予防接種に関する複数の研究のデータを照合したもので、複数の臨床研究の結果を集約するためにメタアナリシス的なアプローチが使用された最初の例とされている。職業適性検査Ghiselli, E. E. (1955). The measurement of occupational aptitude. University of California Publications in Psychology, 8, 101–216.や農業など、初期のメタアナリシスの例は他にも多数見られる。
最初のメタアナリシスのモデルは、1978年にとによって心理療法の効果に関して発表された。彼らの論文が発表された後、エビデンス統合のツールとしてのメタアナリシスの有用性と妥当性に対する反発があった。その最初の例はハンス・アイゼンクによるもので、1978年の論文でメアリー・リー・スミスとジーン・グラスの研究に対してメタアナリシスを「壮大な愚行」と呼んだ。後にアイゼンクはメタアナリシスを「統計的錬金術」と呼ぶことになる。これらの批判にもかかわらず、メタアナリシスの使用は現代的な導入以来、成長を続けてきた。1991年までに334件のメタアナリシスが発表され、この数は2014年までに9,135件に増加した。
メタアナリシスの分野は1970年代以降大きく拡大し、心理学、医学、生態学など複数の分野に及んでいる。さらに、最近のエビデンス統合コミュニティの創設により、分野を超えたアイデア、方法、ソフトウェアツールの相互交流が増加している。
文献検索
メタアナリシスの最も重要なステップの1つはデータ収集である。効率的なデータベース検索のために、適切なキーワードと検索制限を特定する必要がある。ブール演算子と検索制限の使用は文献検索を支援することができる。多くのデータベース（例：PubMed、Embase、PsychInfo）が利用可能だが、研究分野に最も適切な情報源を選択するのは研究者次第である。実際、多くの科学者は複数の情報源をカバーするために2つ以上のデータベース内で重複した検索用語を使用している。適格な研究の参考文献リストも、適格な研究を探すために検索することができる（スノーボーリングとして知られる）。初期検索では大量の研究が返される場合がある。多くの場合、原稿の要約やタイトルから、事前に指定された基準に基づいて研究が包含対象として適格でないことが判明する。これらの研究は破棄することができる。しかし、研究が適格である可能性がある場合（あるいは疑問がある場合でも）、論文全体をより詳細な検査のために保持することができる。適格な論文の参考文献リストも、関連する論文がないか検索することができる。これらの検索結果はPRIMSAフローダイアグラムに詳細に記載する必要がある。このダイアグラムはレビューのすべての段階を通じた情報の流れを詳細に示すものである。そのため、指定された検索用語を使用した後に何件の研究が返され、それらの研究のうち何件が、どのような理由で破棄されたかを記録することが重要である。検索用語と戦略は、読者が検索を再現できるように具体的でなければならない。研究の日付範囲と、検索が実施された日付（または日付期間）も提供されるべきである。
データ収集フォームは、適格な研究からデータを収集するための標準化された手段を提供する。相関データのメタアナリシスでは、効果量の情報は通常ピアソンのr統計量として収集される。研究では偏相関がしばしば報告されるが、これらはゼロ次相関と比較して関係を誇張する可能性がある。さらに、部分的に除外された変数は研究ごとに異なる可能性が高い。結果として、多くのメタアナリシスでは偏相関を分析から除外している。最後の手段として、散布図からデータポイントを抽出してピアソンのrを計算するために、プロット・デジタイザーを使用することができる。参加者の平均年齢など、効果を調整する可能性のある重要な研究特性を報告するデータも収集すべきである。各研究からのエビデンスの質を評価するために、研究の質の尺度もこれらのフォームに含めることができる。観察研究の質とバイアスのリスクを評価するために利用可能なツールは80以上あり、分野間の研究アプローチの多様性を反映している。これらのツールには通常、従属変数の測定方法、参加者の適切な選択、交絡因子の適切な制御の評価が含まれる。相関研究により関連性が高い可能性のある他の質的尺度には、サンプルサイズ、心理測定的特性、方法の報告が含まれる。
グレー文献を含めるかどうかが最後の考慮事項である。グレー文献は、正式に出版されていない研究として定義される。この種の文献には、学会抄録、学位論文、プレプリントが含まれる。グレー文献を含めることで出版バイアスのリスクは減少するが、研究の方法論的質は正式に出版された研究よりも（常にではないが）低いことが多い。グレー文献の最も一般的な情報源である学会proceedingsからの報告は、報告が不十分であり、後続の出版物のデータと一致しないことが多く、出版された研究の約20%で差異が観察されている。
方法と仮定
アプローチ 一般的に、メタアナリシスを実施する際には、（IPD）と集計データ（AD）の2種類のエビデンスを区別することができる。集計データは直接的または間接的なものとなる。
ADはより一般的に入手可能で（例：文献から）、通常オッズ比や相対リスクなどの要約推定値を表す。これは、概念的に類似した研究間で複数のアプローチを用いて直接統合することができる。一方、間接的な集計データは、別々のメタアナリシスで同様の対照群と比較された2つの治療の効果を測定する。例えば、治療AとBがそれぞれプラセボと直接比較された場合、これら2つのプール結果を用いて、AとBの効果の間接比較の推定値を、プラセボに対するA効果からプラセボに対するB効果を引くことで得ることができる。
IPDエビデンスは、研究センターによって収集された生データを表す。この区別により、エビデンス統合が望まれる場合には異なるメタアナリシス手法が必要となり、1段階法と2段階法の開発につながっている。1段階法では、研究内の参加者のクラスタリングを考慮しながら、全研究のIPDを同時にモデル化する。2段階法では、まず各研究のADの要約統計量を計算し、次に研究統計量の加重平均として全体の統計量を計算する。IPDをADに縮約することで、IPDが利用可能な場合でも2段階法を適用できる。これにより、メタアナリシスを実行する際の魅力的な選択肢となる。1段階法と2段階法は同様の結果をもたらすと従来考えられているが、最近の研究では、時として異なる結論に至る可能性があることが示されている。
統計モデルの集計データ
固定効果モデル thumb|効果量のフォレストプロット 固定効果モデルは、一連の研究推定値の加重平均を提供する。推定値の分散の逆数が一般的に研究の重みとして使用され、大規模な研究は小規模な研究よりも加重平均に大きく寄与する傾向がある。結果として、メタアナリシス内の研究が非常に大規模な研究に支配されている場合、小規模な研究の知見は実質的に無視される。最も重要なのは、固定効果モデルは、含まれるすべての研究が同じ母集団を調査し、同じ変数と結果の定義を使用していることなどを前提としている。この仮定は通常非現実的であり、研究は多くの場合、複数のの原因の影響を受けやすい。
独立した効果量推定値の集合から始める場合、各推定値に対応する効果量を想定すると、と仮定できる。ここで、は番目の研究で観察された効果、は対応する（未知の）真の効果、はサンプリング誤差、である。したがって、は、対応する真の効果の不偏で正規分布に従う推定値であると仮定される。サンプリング分散（すなわち値）は既知であると仮定される。
ランダム効果モデル
ほとんどのメタアナリシスは、その方法や含まれるサンプルの特徴が完全に同一ではない研究の集合に基づいている。方法とサンプル特性の違いは、真の効果の間に変動性（「異質性」）をもたらす可能性がある。異質性をモデル化する1つの方法は、それを純粋にランダムとして扱うことである。ランダム効果メタアナリシスで加重平均を行う際の重みづけは、2つのステップで実現される：
ステップ1：分散の逆数による重みづけ ステップ2：基礎となる研究の効果量の変動性から単純に導出されたランダム効果分散成分（REVC）を適用することによる、この分散の逆数による重みづけの解除
これは、効果量のこの変動性（としても知られる）が大きいほど、重みづけの解除が大きくなることを意味し、これはランダム効果メタアナリシスの結果が単に研究間の効果量の非加重平均となる点に達する可能性がある。反対の極端な場合、すべての効果量が類似している（または変動性がサンプリング誤差を超えない）場合、REVCは適用されず、ランダム効果メタアナリシスは単純に固定効果メタアナリシス（分散の逆数による重みづけのみ）にデフォルトとなる。
この反転の程度は、以下の2つの要因にのみ依存する：
精度の異質性 効果量の異質性
これらの要因のいずれも自動的に欠陥のある大規模研究やより信頼できる小規模研究を示すものではないため、このモデルの下での重みの再分配は、これらの研究が実際に提供できるものとは関係を持たない。実際、重みの再分配は、異質性が増加するにつれて大規模研究から小規模研究へと一方向にのみ行われ、最終的にすべての研究が等しい重みを持ち、それ以上の再分配が不可能になることが実証されている。
ランダム効果モデルのもう1つの問題は、最も一般的に使用される信頼区間が、指定された名目レベルを超える被覆確率を一般的に維持せず、したがって統計的誤差を実質的に過小評価し、その結論において潜在的に過度に自信を持っている可能性があることである。いくつかの修正が提案されているが、議論は続いている。さらなる懸念は、平均治療効果が時として固定効果モデルと比較してさらに保守的でない可能性があり、したがって実践において誤解を招く可能性があることである。提案されている1つの解釈的な修正は、実践における可能な効果の範囲を描写するために、ランダム効果推定値の周りに予測区間を作成することである。しかし、そのような予測区間の計算の背後にある仮定は、試験が多かれ少なかれ同質な実体とみなされ、含まれる患者集団と比較治療が交換可能とみなされるべきであるということであり、これは実践においては通常達成不可能である。
研究間分散を推定するには多くの方法があり、制限付き最尤推定量が最もバイアスが少なく、最も一般的に使用される方法の1つである。最尤法と制限付き最尤法の両方を含む研究間分散を計算するための高度な反復技法が複数存在し、これらの方法を使用したランダム効果モデルは、Excel、Stata、SPSS、Rを含む複数のソフトウェアプラットフォームで実行できる。
ほとんどのメタアナリシスは2から4つの研究を含んでおり、このようなサンプルはを正確に推定するには不十分なことが多い。したがって、小規模なメタアナリシスでは、不正確なゼロの研究間分散推定値が得られ、誤った同質性の仮定につながることになる。全体として、メタアナリシスでは異質性が一貫して過小評価されているように見え、高い異質性レベルを仮定した感度分析が有益である可能性がある。上述のこれらのランダム効果モデルとソフトウェアパッケージは、研究集計メタアナリシスに関連しており、個別患者データ（IPD）メタアナリシスを実施したい研究者は混合効果モデリングアプローチを考慮する必要がある。
質的効果モデル
ドイとタリブが最初に質的効果モデルを導入した。彼らは、各研究に対する重みを生成するために任意の固定効果メタアナリシスモデルで使用されるランダム誤差による分散の寄与に加えて、関連する成分（質）による分散の寄与を組み込むことによって、研究間の変動性の調整に対する新しいアプローチを導入した。質的効果メタアナリシスの強みは、主観的なランダム効果の代わりに利用可能な方法論的エビデンスを使用できることであり、それによって臨床研究における方法論と統計の間に開いた有害なギャップを埋めることができる。これを行うために、逆分散の重みを調整するために質的情報に基づく合成バイアス分散が計算され、i番目の研究の質調整済み重みが導入される。これらの調整済み重みはメタアナリシスで使用される。言い換えれば、研究iが良質で他の研究が質の悪い場合、それらの質調整済み重みの一部が数学的に研究iに再分配され、全体の効果量に向けてより大きな重みが与えられる。研究の質が類似してくるにつれて、再分配は徐々に減少し、すべての研究が同等の質である場合（同等の質の場合、質的効果モデルはIVhetモデルにデフォルトとなる - 前のセクションを参照）に停止する。質的効果モデル（いくつかの更新を含む）の最近の評価では、質的評価の主観性にもかかわらず、その性能（シミュレーション下でのMSEと真の分散）はランダム効果モデルで達成可能な性能よりも優れていることを示している。このモデルは、文献に存在する維持できない解釈に取って代わり、このメソッドをさらに探索するためのソフトウェアが利用可能である。
ネットワークメタアナリシス手法 thumb|300px|right|ネットワークメタアナリシスは間接的な比較を見る。図では、AはCとの関係で分析され、CはBとの関係で分析されている。しかし、AとBの関係は間接的にのみ知られており、ネットワークメタアナリシスは、統計的手法を用いて、手法と介入の間のそのような間接的な証拠を検討する。
間接比較メタアナリシス手法（特に複数の治療が同時に評価される場合はネットワークメタアナリシスとも呼ばれる）は、一般的に2つの主要な方法論を使用する。第一に、ブッヒャー法があり、これは3つの治療の閉ループの単一または反復比較で、その1つが2つの研究に共通であり、ループが始まり終わるノードを形成する。したがって、複数の治療を比較するには、複数の2対2比較（3治療ループ）が必要となる。この方法論では、2つの独立したペアワイズ比較が必要なため、2つ以上のアームを持つ試験では2つのアームのみを選択する必要がある。代替的な方法論は、複雑な統計モデルを使用して、複数のアーム試験と競合するすべての治療間の比較を同時に含める。これらはベイズ法、混合線形モデル、メタ回帰アプローチを用いて実行されている。
ベイズフレームワーク ベイズネットワークメタアナリシスモデルの指定には、WinBUGSなどの汎用マルコフ連鎖モンテカルロ法（MCMC）ソフトウェアのための有向非巡回グラフ（DAG）モデルを記述することが含まれる。さらに、いくつかのパラメータに対する事前分布を指定し、データを特定の形式で提供する必要がある。DAG、事前分布、データは一緒にベイズ階層モデルを形成する。さらに問題を複雑にするのは、MCMC推定の性質上、収束を評価できるように複数の独立した連鎖に対して過分散の初期値を選択する必要があることである。最近、モデル適合を単純化するために複数のR言語ソフトウェアパッケージが開発され（例：metaBMAとRoBMA）、さらにグラフィカルユーザインタフェース（GUI）を持つ統計ソフトウェアであるにも実装された。ベイズアプローチの複雑さはこの方法論の使用を制限するが、最近のチュートリアル論文はこれらの方法のアクセシビリティを高めようとしている。この方法の自動化のための方法論が提案されているが、アームレベルの結果データが利用可能である必要があり、これは通常利用できない。ベイズフレームワークのネットワークメタアナリシスを扱う固有の能力とその柔軟性について、時として大きな主張がなされる。しかし、ベイズ派か頻度論派かという推論のフレームワークの選択は、効果のモデリングに関する他の選択よりも重要性が低い可能性がある（上記のモデルに関する議論を参照）。
頻度論的多変量フレームワーク 一方、頻度論的多変量法は、方法が適用される際に明示的に述べられていないか、検証されていない近似と仮定を伴う（上記のメタアナリシスモデルに関する議論を参照）。例えば、StataのmvmetaパッケージはCBBには頻度論的フレームワークでのネットワークメタアナリシスを可能にする。しかし、ネットワークに共通の比較対照がない場合、高分散を持つ仮想的なアームでデータセットを増強する必要があり、これは客観的ではなく、何が十分に高い分散を構成するかについての決定を必要とする。もう1つの問題は、この頻度論的フレームワークとベイズフレームワークの両方におけるランダム効果モデルの使用である。セン（Senn）は、1つのランダム効果しか許可されていないが多くのランダム効果を想定できるため、「ランダム効果」分析の解釈に注意するよう分析者に助言している。センはさらに、2つの治療法を比較する場合でさえ、ランダム効果分析が試験から試験への効果の変動方法に関するすべての不確実性を説明すると仮定するのは素朴すぎると述べている。上記で議論されたようなメタアナリシスの新しいモデルは、確かにこの状況を緩和するのに役立ち、次のフレームワークで実装されている。
一般化ペアワイズモデリングフレームワーク 1990年代後半から試みられてきたアプローチは、3つの治療法による閉ループ分析の実装である。これは、ネットワークの複雑さが増すにつれてプロセスが急速に圧倒的になるため、人気がなかった。この分野での開発は、その後放棄され、代替案として登場したベイズ法と多変量頻度論的方法が優先された。最近、一部の研究者によって、複雑なネットワークに対する3つの治療法による閉ループ法の自動化が開発された。これは、この方法論を主流の研究コミュニティが利用できるようにする方法として開発された。この提案は各試験を2つの介入に制限するが、複数のアーム試験に対するワークアラウンドも導入している：異なる実行で異なる固定制御ノードを選択できる。また、上記で指摘された多くの問題を回避するために、堅牢なメタアナリシス手法も利用している。このフレームワークの周りでさらなる研究が必要であり、これが実際にベイズ法または多変量頻度論的フレームワークよりも優れているかどうかを判断する必要がある。これを試してみたい研究者は、無料のソフトウェアを通じてこのフレームワークにアクセスできる。
テーラードメタアナリシス 追加情報の別の形式は、意図された設定から得られる。メタアナリシス結果を適用するターゲット設定が既知の場合、その設定からのデータを使用して結果を調整し、'テーラードメタアナリシス'を作成することが可能である。これは検査精度のメタアナリシスで使用されており、検査陽性率と有病率の経験的知識を使用して、「適用可能領域」として知られる受信者操作特性（ROC）空間の領域を導出するために使用されている。その後、この領域との比較に基づいてターゲット設定のための研究が選択され、集約されてターゲット設定に合わせた要約推定値が作成される。
IPDとADの集約 メタアナリシスは、IPDとADを組み合わせるためにも適用できる。これは、分析を実施する研究者が自身の生データを持っており、文献から集計データまたは要約データを収集する場合に便利である。一般化統合モデル（GIM）はメタアナリシスの一般化である。個別参加者データ（IPD）に適合されたモデルが、集計データ（AD）を計算するために使用されたモデルとは異なることを許容する。GIMは、より柔軟に情報を統合するためのモデルキャリブレーション方法とみなすことができる。
メタアナリシス結果の妥当性検証 メタアナリシスの推定値は研究全体の加重平均を表すが、がある場合、要約推定値が個々の研究を代表していない可能性がある。確立されたツールを使用した一次研究の質的評価は潜在的なバイアスを明らかにすることができるが、要約推定値に対するこれらのバイアスの総合的な効果を定量化することはない。メタアナリシスの結果は独立した前向きの一次研究と比較することができるが、そのような外部検証は多くの場合実用的ではない。これにより、交差検証の一形態を利用する方法の開発が促進され、時には内部-外部交差検証（IOCV）と呼ばれる。ここでは、含まれるk個の研究のそれぞれを順番に除外し、残りのk-1個の研究を集約して得られた要約推定値と比較する。メタアナリシス結果の統計的妥当性を測定するために、IOCVに基づく一般的な検証統計量、Vnが開発されている。検査精度と予測、特に多変量効果がある場合、予測誤差を推定しようとする他のアプローチも提案されている。
課題
複数の小規模研究のメタアナリシスは、必ずしも単一の大規模研究の結果を予測するとは限らない。一部の研究者は、この方法の弱点として、バイアスの原因がこの方法によって制御されないことを指摘している：優れたメタアナリシスでも、元の研究の貧弱な設計やバイアスを修正することはできない。これは、「最良のエビデンス統合」と呼ばれる実践として、方法論的に健全な研究のみをメタアナリシスに含めるべきであることを意味する。他のメタアナリストは、より弱い研究も含め、研究の方法論的質を反映する研究レベルの予測変数を追加して、研究の質が効果量に与える影響を検討することを提案している。しかし、研究サンプルの分散に関する情報を保持し、可能な限り広範なネットを投げかけることが、より良いアプローチであり、方法論的な選択基準は望ましくない主観性を導入し、このアプローチの目的を損なうと主張する者もいる。最近では、科学におけるオープンな実践の推進の影響の下、科学者のコミュニティによって更新される「クラウドソース型」のリビングメタアナリシスを開発するツールが開発されている。これはすべての主観的な選択をより明示的にすることを期待してのことである。
出版バイアス：ファイルドロワー問題 thumb|right|ファイルドロワー問題がない場合に予想されるファンネルプロット。最大の研究は先端で収束し、小規模な研究は基部でより多かれ少なかれ対称的な散布を示す。 thumb|right|ファイルドロワー問題がある場合に予想されるファンネルプロット。最大の研究は依然として先端付近にクラスターを形成しているが、陰性の研究を公表することへのバイアスにより、小規模な研究全体として仮説に対して不当に好ましい結果を示している。
もう1つの潜在的な落とし穴は、公表された研究の利用可能な本体への依存であり、これは出版バイアスにより誇張された結果を生む可能性がある。や有意でない結果を示す研究は公表される可能性が低いためである。例えば、製薬会社は陰性の研究を隠蔽することが知られており、研究者は出版に至らなかった学位論文研究や学会抄録などの未公表の研究を見落としている可能性がある。これは簡単には解決できない。なぜなら、何件の研究が未報告のままであるかを知ることができないためである。
この出版バイアスであるファイルドロワー問題は、陰性または非有意な結果が引き出しにしまい込まれることによって特徴付けられ、効果量の偏った分布をもたらす可能性があり、その結果、他の研究が公表のために提出されなかったか拒否されたため、公表された研究の有意性が過大評価されるという深刻なを生む可能性がある。これはメタアナリシスの結果を解釈する際に真剣に考慮されるべきである。
効果量の分布はで視覚化することができ、（最も一般的なバージョンでは）標準誤差と効果量の散布図である。小規模な研究（したがって標準誤差が大きい）は効果の大きさのばらつきが大きく（精度が低い）、大規模な研究はばらつきが小さくファンネルの先端を形成するという事実を利用している。多くの陰性の研究が公表されなかった場合、残りの陽性の研究は、底部が一方に歪んだ（ファンネルプロットの非対称性）ファンネルプロットを生じさせる。対照的に、出版バイアスがない場合、小規模な研究の効果が一方に歪む理由はないため、対称的なファンネルプロットが得られる。これはまた、出版バイアスが存在しない場合、標準誤差と効果量の間に関係がないことを意味する。標準誤差と効果量の間に負または正の関係があることは、一方向の効果を見出した小規模な研究の方が公表されやすく、公表のために提出されやすかったことを示唆する。
視覚的なファンネルプロットとは別に、出版バイアスを検出するための統計的手法も提案されている。これらは通常バイアスの検出力が低いため、また特定の状況下で偽陽性を生む可能性があるため、議論の的となっている。例えば、小規模研究効果（偏った小規模研究）では、小規模研究と大規模研究の間に方法論的な違いが存在し、出版バイアスに似た効果量の非対称性を引き起こす可能性がある。しかし、小規模研究効果はメタアナリシスの解釈にとって同様に問題となる可能性があり、メタアナリシスの著者はバイアスの潜在的な原因を調査する必要がある。
出版バイアスの問題は些細なものではなく、心理科学におけるメタアナリシスの25%が出版バイアスの影響を受けている可能性があることが示唆されている。しかし、既存の検定の検出力の低さとファンネルプロットの視覚的な外観の問題は依然として課題であり、出版バイアスの推定値は実際に存在するものよりも低いままである可能性がある。
出版バイアスに関するほとんどの議論は、統計的に有意な知見の公表を好む学術誌の慣行に焦点を当てている。しかし、有意性が達成されるまで統計モデルを再構築するなどの疑わしい研究慣行も、研究者の仮説を支持する統計的に有意な知見を好む可能性がある。
統計的に有意でない効果を報告しない研究に関する問題
研究は、効果が統計的有意性に達しない場合、その効果を報告しないことが多い。例えば、他の情報（統計量やp値など）を報告せずに、単にグループ間に統計的に有意な差がなかったと述べるだけかもしれない。これらの研究を除外すると出版バイアスと同様の状況になるが、（帰無効果を仮定して）これらを含めることもメタアナリシスにバイアスをもたらす。
統計的アプローチに関する問題