CRMのA/Bテストは何件見れば判断できるか｜LINE絞り込み配信とメルマガの比較設計
LINE公式アカウントが提供していたメッセージ配信のA/Bテスト機能は2025年3月5日に提供を終了しており、現在は「絞り込み配信」を使った比較送信が公式の代替手段です。メルマガやLINEでA/Bテストを検討する際は、まずこの前提の変化を確認する必要があります。本記事では、LINEとメルマガそれぞれでA/Bテストに何が使えるかを整理したうえで、割付・到達数・クリック数・購入数をどう揃えて比較するか、そして少数の対象で勝敗を決めないための実務上の目安と、テストを始める前に決めておくべき停止条件を解説します。公式に「何件見れば判断できる」という数値基準は存在しないため、本記事では確認すべき条件を順番に整理する形で進めます。
この記事の結論
- LINE公式アカウントのA/Bテスト配信機能は2025年3月5日に提供終了しており、現在は「絞り込み配信」による比較送信が公式の代替手段になっている。
- 絞り込み配信での比較は「一部ユーザーへ配信→過去の配信を除外して別バリエーションを配信→必要に応じて残りユーザーへ配信」という3ステップで行い、過去配信の除外機能は認証済・プレミアムアカウント限定かつ配信完了から336時間以内という条件がある。
- 絞り込み配信には属性フィルター利用時の推計対象50人以上、属性で絞り込む場合のターゲットリーチ100人以上など、LINE公式が定める最低人数の条件がある。
- メルマガのA/Bテストは配信システムごとに機能や必要件数の基準が異なるため、自社が使う配信システムの公式ヘルプで確認する必要がある。
- 「何件見れば勝敗を判断できるか」に公式な数値基準はなく、割付方法・観測期間・判定指標をあらかじめ揃え、少数データでの早期判断を避けるための停止条件を事前に決めておくことが実務上の対応になる。
LINE公式アカウントのA/Bテスト機能は今どうなっているか
「LINEでA/Bテストをしたい」と検索すると、過去に提供されていたメッセージ配信のA/Bテスト機能を前提にした情報に行き当たることがあります。しかし、LINEヤフー株式会社（LY Corporation）が運営するLINE公式アカウントの管理ツールでは、このA/Bテスト機能は2025年3月5日に提供を終了しています（2026年10月1日確認）。本文の比較設計を検討する前に、まずこの前提の変化を確認する必要があります。
何が終了し、何が代替手段になったか
LINEヤフー株式会社公式のサービス情報アップデートによれば、「2025年3月5日にメッセージ配信のA/Bテスト機能の提供を終了しました」と案内されています（2026年10月1日確認）。これは、同じ配信を2つのバリエーションに分けて自動的に配信し、開封・クリックなどの指標を比較するという、いわゆる自動A/Bテスト機能の終了を意味します。現在のLINE公式アカウント管理ツールでこれに相当する比較を行うには、「絞り込み配信」機能を使って意図的に対象を分け、順番に配信することで比較する方法が公式の代替手段として案内されています。
自動化されたテストではなく、運用者が設計する比較になった
以前のA/Bテスト機能は、配信対象の振り分けや結果の集計までを管理ツール側が自動化していました。これに対し、現在の絞り込み配信による比較は、どの対象にどのバリエーションを配信するか、どの指標をいつ比較するかを運用者自身が設計する必要があります。自動化されていた部分が手動の設計に置き換わったという点は、比較作業の手間が増えたことを意味すると同時に、何を比較するかを自社で明確に決める必要があるということでもあります。次章では、この絞り込み配信を使った比較の具体的な手順を確認します。
絞り込み配信で比較する3ステップの手順
LINE公式アカウントの絞り込み配信を使ってバリエーションを比較する場合、LINEヤフー株式会社公式のサービス情報アップデートが案内する手順に沿って進めます。この手順は、過去にA/Bテスト機能が自動で行っていた「対象の振り分け」を、絞り込み配信の対象設定と配信除外機能を組み合わせて手動で再現するものです。
3ステップの内容
LINEヤフー株式会社公式の案内では、比較の手順は次の3段階に整理されています（2026年10月1日確認）。(1)比較基準となるバリエーションを一部ユーザーに配信する。(2)配信完了後、過去の配信を除外して別バリエーションを配信する。(3)必要に応じて追加の比較を行い、残りのユーザーへ配信する。この順序により、同じユーザーに複数のバリエーションが重複して配信されることを避けながら、バリエーションごとの反応を比較できます。
| ステップ | 内容 |
|---|---|
| ステップ1 | 比較基準となるバリエーションを一部ユーザーに配信する |
| ステップ2 | 配信完了後、過去の配信を除外して別バリエーションを配信する |
| ステップ3 | 必要に応じて追加比較を行い、残りのユーザーへ配信する |
過去の配信を除外する機能には利用条件がある
ステップ2で使う「過去の配信を除外して配信する」機能には、利用できるアカウントと期間の条件があります。LINEヤフー株式会社公式の案内によれば、「過去の配信を除外する機能は認証済・プレミアムアカウントのみ対応で、配信完了から336時間以内の利用が条件です」とされています（2026年10月1日確認）。336時間は24時間×14日に相当するため、比較の計画を立てる際は、ステップ1の配信からステップ2の配信までを2週間以内に収める必要があります。未認証のアカウントではこの除外機能自体が使えないため、絞り込み配信による比較を行う前に、自社のアカウントが認証済・プレミアムアカウントに該当するかを確認してください。
手順を踏む際の実務上の注意
この3ステップは管理ツールが自動で結果を比較してくれるわけではないため、各ステップで配信した対象の人数、配信日時、使用したバリエーションの内容を記録しておく必要があります。記録がないと、後から到達数やクリック数を比較する際に、どの数値がどのバリエーションのものか分からなくなります。次章では、この絞り込み配信そのものを使うために必要な最低人数の条件を確認します。
絞り込み配信を使うために必要な最低人数
絞り込み配信には、対象の組み合わせごとに必要な最低人数の条件があります。LINEヤフー株式会社公式のマニュアルでは、属性による絞り込みを使う場合に必要な最低人数の条件が明記されています。この条件を満たさないと配信自体ができないため、比較のステップに入る前に確認が必要です。
属性フィルターを使う場合の条件
LINEヤフー株式会社公式の絞り込み配信マニュアルによれば、「属性(フィルター)を利用した絞り込み配信は、選択後の推計対象ユーザーが50人以上必要です」とされています（2026年10月1日確認）。また、「属性で絞り込むには、ターゲットリーチ数が100人以上必要です」という条件も案内されています（2026年10月1日確認）。つまり、属性で絞り込む操作自体にターゲットリーチ100人以上という条件があり、さらに絞り込んだ後の推計対象ユーザー数が50人以上であることが必要です。
オーディエンスを組み合わせる場合の条件
複数のオーディエンスを掛け合わせて配信対象を絞り込む場合は、別の人数条件が適用されます。公式マニュアルでは「オーディエンスの掛け合わせ結果が、”50人以上”かつ、”各オーディエンスに含まれる有効な友だちが50人”でなければ配信ができません」と案内されています（2026年10月1日確認）。掛け合わせた結果の人数だけでなく、掛け合わせの元になる各オーディエンスの人数も50人以上必要になる点に注意してください。
| 絞り込み方法 | 必要な最低人数の条件 |
|---|---|
| 属性フィルター | ターゲットリーチ100人以上、絞り込み後の推計対象50人以上 |
| オーディエンスの掛け合わせ | 掛け合わせ結果50人以上、かつ各オーディエンスの有効な友だち50人以上 |
過去の配信を除外する機能の追加条件
前章で触れた「過去の配信を除外する」機能についても、人数条件とは別の制約があります。公式マニュアルでは「認証済アカウントで利用できます」「配信完了から2週間（24時間×14日＝336時間）経過すると、選択できなくなります」「過去に配信された『絞り込み』を設定したメッセージのみが選択できます」という3つの条件が案内されています（2026年10月1日確認）。友だち数が少ないアカウントでは、属性フィルターやオーディエンスの掛け合わせ自体が人数条件を満たせず、比較のステップ自体を実施できない場合があります。自社の友だち数の規模を踏まえて、どの絞り込み方法が使えるかを事前に確認してください。
メルマガとLINEで比較に使う指標の違い
LINEの絞り込み配信による比較と、メルマガ配信システムが提供するA/Bテスト機能は、同じ「比較」という目的でも、取得できる指標や判定の仕組みが異なります。両方のチャネルを運用している場合、この違いを踏まえずに同じ基準で比較すると判断を誤ります。
LINEの絞り込み配信で確認できる指標
LINE公式アカウントの絞り込み配信による比較では、配信した対象への到達状況とクリック（タップ）の状況を管理ツールの配信分析機能で確認できます。前述のとおり自動で2群に振り分けて比較するわけではないため、どのバリエーションをどの対象に配信したかを自社で記録し、それぞれの配信分析結果を後から並べて比較する必要があります。購入などの成果指標まで比較したい場合は、LINEの配信分析だけでは確認できないことが多く、自社の販売管理システムやECサイトの計測データと組み合わせて確認する必要があります。
LINEヤフー株式会社公式のメッセージ配信分析マニュアルによれば、配信分析では「配信」（メッセージが送信された人数）、「開封」（メッセージが開封された人数）、「クリックユーザー」（メッセージ内のいずれかのURLをクリックした人数）、「クリック率」（クリック数をインプレッション数で割った値）といった指標を確認できます（2026年10月1日確認）。絞り込み配信でバリエーションAとBを比較する場合は、この配信分析の結果をバリエーションごとに個別に確認し、同じ指標同士を並べて比較することになります。
配信分析の集計期間に注意する
同マニュアルによれば、配信分析の指標は配信から14日間の統計として集計されます。絞り込み配信で複数のバリエーションを比較する場合、片方のバリエーションだけ集計期間中にさらに別の配信を追加するなど、集計条件がバリエーション間でずれると指標を正しく比較できなくなります。バリエーションごとに配信分析を個別に確認し、同じ集計期間・同じ指標同士で比較するようにしてください（2026年10月1日確認）。
メルマガ配信システムのA/Bテスト機能で確認できる指標
メルマガの配信システムには、件名や配信時間、本文の一部を比較するA/Bテスト機能が搭載されていることがあります。多くのシステムでは開封率やクリック率を自動で比較できますが、必要な配信件数や判定の仕組みは配信システムごとに異なります。具体的な必要件数や自動判定の基準については、自社が契約している配信システムの公式ヘルプやサポート窓口で確認してください。本記事では特定の配信システムの仕様を前提にした数値は示しません。
| 観点 | LINE公式アカウント（絞り込み配信） | メルマガ配信システム |
|---|---|---|
| 比較の仕組み | 運用者が対象を分けて順番に配信し、後から結果を比較する | システムによって自動で対象を振り分け、開封・クリックを比較する機能がある場合がある |
| 確認できる指標 | 到達状況、クリック（タップ）状況（配信分析機能） | 開封率、クリック率（配信システムの機能に依存） |
| 購入などの成果指標 | 自社の販売管理・ECサイトのデータと組み合わせて確認 | 配信システムとECサイト・CRMのデータを連携して確認することが多い |
| 必要件数の基準 | 絞り込み配信自体に最低人数の条件がある（前章参照） | 配信システムごとに異なるため公式ヘルプで確認 |
チャネルをまたいで比較する際の注意
LINEとメルマガの両方で同じ内容を配信する場合でも、チャネルごとに開封・クリックの定義や計測方法が異なるため、指標の数値をそのまま並べて優劣を比較することはできません。チャネル間で比較したいときは、最終的な成果指標である購入数や問い合わせ数のように、チャネルの計測方式の違いを受けにくい指標で揃えて比較することが実務上の対応になります。配信疲弊のように配信頻度そのものが反応に影響する論点は本記事の対象外であり、別の観点での確認が必要です。
少数データで勝敗を断定しないための目安
絞り込み配信やメルマガのA/Bテスト機能を使って比較できる状態になったとしても、「何件見れば勝敗を判断できるか」という問いに公式な数値基準はありません。少数の対象で出た差分を、そのまま「どちらが優れているか」の結論として扱うと、実際には誤差の範囲内の違いを勝敗として断定してしまう危険があります。
相関と因果を混同しない
バリエーションAのクリック率がバリエーションBより高かったという結果が出ても、それが本文の違いによるものなのか、配信した時間帯や対象の偏りによるものなのかは、その1回の結果だけでは判別できません。差が出た要因を本文の違いだけに帰属させる前に、配信した対象の属性や配信タイミングに偏りがなかったかを確認する必要があります。これは、見かけ上の相関を安易に因果関係として扱わないという、データを扱う際の基本的な注意点です。
対象人数が少ないときに起こりやすい誤判断
比較対象の人数が少ない場合、少数の受信者の個別の行動が反応率全体を大きく動かしてしまうことがあります。たとえば数十人規模の比較で1〜2人の行動が変わるだけで反応率が大きく変動する場合、その差が本文の違いによるものか、たまたま反応しやすい人が多く含まれていたかを区別できません。前章で確認した絞り込み配信の最低人数条件（50人・100人）は配信そのものが可能になる条件であり、判断に十分な件数かどうかを保証するものではない点に注意してください。
- 同じ割付比率・同じ配信期間で比較できているか（片方だけ配信期間が長い、対象の割付比率が偏っていないかを確認する）
- 比較する変数を1つに絞っているか（件名と本文を同時に変えると、どちらの違いが結果に影響したか特定できない）
- 差分が出た後、同じ条件で再現するか（1回だけの結果で終わらせず、可能であれば再度同条件で比較する）
- 判断に使う指標をテスト開始前に決めているか（結果を見てから都合のよい指標を選んでいないか確認する）
公式な最低件数がないことの受け止め方
LINEヤフー株式会社・メルマガ配信システムのいずれの公式情報でも、「A/Bテストの勝敗判断に必要な最低件数」という基準は案内されていません。このため本記事でも、特定の件数を判断基準として示すことはできません。代わりに、上記のような確認項目を事前にチェックリスト化しておき、少数データでの早期判断を避けるという運用上の工夫で対応することになります。次章では、この早期判断を避けるために、テストを始める前に決めておくべき停止条件を解説します。
テストを始める前に停止条件を決める
少数データでの早期判断を避けるための最も実務的な方法は、テストの結果を見る前に「いつ、どの指標で、どちらを採用するか判断するか」という停止条件を決めておくことです。結果を見た後に判断基準を決めると、都合のよい結果が出た指標を後から選んでしまう可能性があります。
停止条件に含める4つの要素
停止条件には、少なくとも次の4つを事前に決めておきます。(1)判断に使う指標（クリック数か購入数かなど、1つに絞る）。(2)判断するタイミング（配信から何日後、または何月何日に判断するかをあらかじめ決める）。(3)判断できなかった場合の対応（差が小さく判断できない場合、テストを延長するか、両方を継続するかを決めておく）。(4)採用後の振り返り日（採用したバリエーションを一定期間運用した後、実際の成果を再確認する日を決めておく）。
| 要素 | 決めておく内容 |
|---|---|
| 判断指標 | クリック数・購入数など、テスト開始前に1つに絞って決める |
| 判断タイミング | 配信から何日後、または具体的な日付で判断時点を決める |
| 判断できない場合の対応 | 差が小さい場合にテストを延長するか、判断を見送るかを決める |
| 採用後の振り返り日 | 採用したバリエーションの実際の成果を再確認する日を決める |
1変数テストの原則を守る
停止条件と並んで重要なのが、1回のテストで変更する要素を1つに絞ることです。件名と配信時間、本文の構成を同時に変えてしまうと、たとえ差が出たとしても、どの変更が結果に影響したのかを特定できません。LINEの絞り込み配信のように手動で対象を分けて比較する方法では、ステップごとに配信内容を変えすぎないよう、事前にテストする変数を1つに決めてから3ステップの手順に入ることが重要です。
停止条件を決めてから着手する
絞り込み配信の最低人数条件を満たし、比較する変数を1つに絞り、判断指標とタイミングを事前に決める。この準備が整った段階で、初めて3ステップの比較に着手します。準備を省略して配信を始めてしまうと、結果が出た後に「何を基準に判断すればよいか」を決めることになり、少数データでの早期判断や、都合のよい指標の選択といった問題が起きやすくなります。自社のCRM運用でA/Bテストの設計や停止条件の立て方について相談したい場合は、CRM運用の設計について問い合わせフォームで相談することができます。LINEとメルマガ、それぞれの比較設計の整理から一緒に進めます。
まとめ
LINE公式アカウントのメッセージ配信A/Bテスト機能は2025年3月5日に提供終了しており、現在は絞り込み配信による比較送信が公式の代替手段です。絞り込み配信には「比較基準の配信→過去配信の除外によるバリエーション配信→残りユーザーへの配信」という3ステップの手順と、属性フィルター利用時の推計対象50人以上・ターゲットリーチ100人以上などの最低人数条件があります。メルマガのA/Bテストは配信システムごとに機能や必要件数が異なるため、自社の配信システムの公式ヘルプで確認します。「何件見れば勝敗を判断できるか」に公式な数値基準はなく、同じ割付比率・同じ観測期間で比較し、比較する変数を1つに絞り、判断指標とタイミングをテスト開始前に決めておくことが、少数データでの早期判断を避けるための実務上の対応になります。
LINEとメルマガでは比較の仕組みと確認できる指標が異なるため、チャネルをまたいで優劣を比較する場合は、計測方式の違いを受けにくい購入数や問い合わせ数のような成果指標で揃えることが有効です。本記事で紹介した絞り込み配信の手順や人数条件は、LINEヤフー株式会社の公式情報が更新されるたびに変わる可能性があるため、実際にテストを設計する際は最新の公式マニュアルを確認してください。
よくある質問
Q. LINE公式アカウントのA/Bテスト機能はいつ終了しましたか？
A. LINEヤフー株式会社公式のサービス情報アップデートによれば、メッセージ配信のA/Bテスト機能は2025年3月5日に提供を終了しています（2026年10月1日確認）。現在は絞り込み配信による比較送信が公式の代替手段として案内されています。
Q. 絞り込み配信で比較する場合、何人以上の対象が必要ですか？
A. LINEヤフー株式会社公式マニュアルによれば、属性フィルターを利用する場合はターゲットリーチ100人以上、絞り込み後の推計対象50人以上が必要です。オーディエンスを掛け合わせる場合は、掛け合わせ結果50人以上かつ各オーディエンスの有効な友だち50人以上が必要です（2026年10月1日確認）。これらは配信自体が可能になる条件であり、判断に十分な件数であることを保証するものではありません。
Q. 過去の配信を除外する機能は誰でも使えますか？
A. LINEヤフー株式会社公式の案内では、過去の配信を除外する機能は認証済・プレミアムアカウントのみ対応で、配信完了から336時間（2週間）以内の利用が条件とされています（2026年10月1日確認）。未認証のアカウントでは利用できません。
Q. メルマガのA/Bテストに必要な件数はどこで確認できますか？
A. メルマガのA/Bテスト機能は配信システムによって仕組みや必要件数の基準が異なります。自社が契約している配信システムの公式ヘルプやサポート窓口で、具体的な必要件数や判定の仕組みを確認してください。
Q. 少数の対象で明確な差が出た場合、それを勝敗として採用してよいですか？
A. 対象人数が少ない場合、少数の受信者の個別の行動が反応率全体を大きく動かすことがあります。差が出た要因が本文の違いによるものか、配信対象の偏りによるものかを確認し、可能であれば同条件での再現を確認したうえで判断することをおすすめします。
Q. テストする変数を複数同時に変えてもよいですか？
A. 件名・配信時間・本文構成などを同時に変えると、どの変更が結果に影響したのかを特定できなくなります。1回のテストで変更する要素は1つに絞ることをおすすめします。
Q. LINEとメルマガの結果をそのまま比較してよいですか？
A. LINEの絞り込み配信とメルマガ配信システムでは、比較の仕組みや確認できる指標の定義が異なります。開封率やクリック率をそのまま並べて比較するのではなく、購入数や問い合わせ数のような計測方式の違いを受けにくい指標で揃えて比較することをおすすめします。
Q. LINEの配信分析では、どのような指標でバリエーションを比較できますか？
A. LINEヤフー株式会社公式のメッセージ配信分析マニュアルによれば、配信ごとに「配信」（送信された人数）、「開封」（開封された人数）、「クリックユーザー」（メッセージ内のURLをクリックした人数）、「クリック率」（クリック数をインプレッション数で割った値）などの指標を確認できます（2026年10月1日確認）。これらの指標は配信から14日間の統計として集計されるため、絞り込み配信でバリエーションを比較する場合は、同じ集計期間・同じ指標同士をバリエーションごとに個別に確認して比較します。
参考資料
- LINEヤフー株式会社公式「サービス情報アップデート」：メッセージ配信のA/Bテスト機能が2025年3月5日に提供終了したこと、絞り込み配信による3ステップの比較手順、過去の配信を除外する機能の認証済・プレミアムアカウント限定かつ336時間以内という条件を確認。2026年10月1日閲覧。
- LINEヤフー株式会社公式「絞り込み配信」マニュアル：属性フィルター利用時の推計対象50人以上・ターゲットリーチ100人以上の条件、オーディエンス掛け合わせ時の50人以上の条件、過去の配信を除外する機能の利用条件を確認。2026年10月1日閲覧。
- LINEヤフー株式会社公式「メッセージ配信」分析マニュアル：配信分析で確認できる「配信」「開封」「クリックユーザー」「クリック率」などの指標の定義、配信から14日間の集計期間を確認。2026年10月1日閲覧。
