トラフィックボットについて理解し、それらを防ぐ方法

要約

トラフィックボットは、インターネットトラフィック全体の約40％を占める自動化されたプログラムです。ボットの中には、検索エンジンのインデックス作成、アナリティクス、著作権監視などを目的とした正当なものもありますが、広告詐欺、分散型サービス拒否（DDoS）攻撃、スクレイピング、スパムなどに悪用されるボットもあります。ウェブサイトの所有者は、robots.txtファイルを設定したり、不審なIP（インターネットプロトコル）アドレスを手動でブロックしたり、機械学習を使用して長期的に適応する専用のボット管理ソリューションを導入したりすることで、悪意のあるボットからサイトを防御できます。

Webサイトのトラフィックのうち、実際に人間が占める割合はどのくらいでしょうか？

Webボットによるヒットは、人間ではなくマシンから発生します。クリック、コメント、または訪問が人間によるものだと思っていても、実際にはコンピュータープログラムによって行われていることがあります。

Webボットは、本質的に良いものでも悪いものでもありません。コンピューターは反復的なタスクを非常に迅速に処理でき、Webボットはパフォーマンスやトラッキングに不可欠な多くの役割を果たします。しかし、webボットの攻撃によって多額の費用が発生することもあります。

Webボットによるヒットは、インターネットトラフィック全体の約40％を占めています。ボットは本当にどこにでもいます。

優れた点と劣った点を分けるものは何か、さらに詳しく見ていきましょう。ボットのトラフィックを監視し、阻止するために役立つヒントをいくつかご紹介して締めくくります。

トラフィックボットとは何ですか？

Webボットによるヒットは、プログラムされたスクリプトに起因します。開発者は、リンクのクリック、画像のダウンロード、その他何らかの単純なタスクを処理できるプログラムを作成します。

このようなプログラムが作成されると、開発者はほぼすべてのWebサイトでそれを起動し、あとは結果を待つだけで済みます。ほとんどのボットは、ほぼ常時稼働しています。

自社サイトのボットトラフィックを検出するには、どうすればよいでしょうか。

貴社のWebサイトでも、何らかのボットに対応している可能性が高いでしょう。トラフィックを分析するウェブサイトの約85%が、その分析にGoogleアナリティクスを使用しています。このツールをサイトにインストールしている場合は、次のようなトラフィックを探してください。

• 弾む。ボットは、わずか数秒でページを閲覧できます。直帰率が非常に高い場合は、ボットによるアクセスである可能性が高いです。
• 深い。トラフィックボットは、サイト全体を1ページずつ調べていく傾向があります。
• 外国Webサイトが特定の地域のオーディエンスを対象としているにもかかわらず、遠隔地から突然大量のアクセスがあった場合、ボットによるものである可能性が高いです。

サイトでの行動によってもトラフィックボットを特定できます。投稿したコンテンツのアクセス数が突然数百件に達し、コメント欄が意味不明なフレーズで埋め尽くされた場合、ボットが関与している可能性があります。

善良なトラフィックボット

コンテンツは人間を念頭に置いて作成されているはずなので、コンピューターがトラフィックの大半を占める事態を想定するのは難しいかもしれません。しかし、Webサイトのパフォーマンス向上に役立つボットも存在します。

以下に、有用なボットの4つの例を挙げます。

1. 集約：Webサイトのボットが複数のWebサイトからデータを収集し、1つのページにまとめます。このようなボットは、いわゆる「強調スニペット」として、お客様のウェブサイトをGoogleの検索結果の最初のページに表示させることができます。その結果、実在のユーザーから数千件のアクセスがある可能性があります。
2. アナリティクス：こうしたトラフィックボットは、サイトへの訪問者数、訪問ページ、ページの読み込み速度などを監視します。このデータは、GoogleやBingなどのサイトがコンテンツの価値を判断するのに役立ちます。
3. 著作権：コンテンツが盗用され、法的措置を取ることを決定した場合、侵害1件につき最大15万ドルの損害賠償金を得られる可能性があります。著作権ボットは、著作権侵害を迅速に発見し、被害を受けたことを証明するのに役立ちます。
4. 検索エンジン最適化（SEO）：検索エンジン最適化ボットは、Webサイトの各ページを巡回し、その内容を判断します。これにより、GoogleやBingなどのサイトは、どのような検索語でページを表示すべきかを判断します。

これらのタスクの一部またはすべてが、お客様の成功に不可欠となる可能性があります。

不正なトラフィックボット

プログラマーはトラフィックボットを使用して、サイトを攻撃したり、リソースを盗んだり、またはその両方を行うことがあります。

悪意のあるボットの6つの例：

1. 広告詐欺: 有料広告をクリックするようにプログラムされたトラフィックボットは、銀行口座の資金を消耗させる可能性があります。専門家によると、このような広告詐欺による企業の年間被害額は約 35 ドル億に上ると言われています。
2. クリック詐欺：プログラマーは、Webサイトのページを繰り返し読み込むスクリプトを作成できます。これにより、ウェブページが実際よりも目立って見える可能性があります。自社のウェブサイトに（書かなければよかったと思うプレスリリースなど）不都合な情報が掲載されている場合、そのページの可視性が非常に高まってしまう可能性があります。
3. 分散型サービス拒否（DDoS）：WebボットがWebサイトを繰り返し読み込もうとすることで、大量のトラフィックが発生し、サーバーに過剰な負荷がかかってサイトが利用できなくなる可能性があります。ハッカーは、ボットを停止する前に支払いを要求することがあります。
4. スクレイピング：Webサイトにメールアドレスや連絡先情報を公開していますか？スクレイピングボットは、その情報を引き出して最高額の入札者に販売します。
5. スパム：Webサイトのボットがフォームに入力することがあります。受信トレイを意味不明なメッセージで埋め尽くしたり、コメント欄に奇妙な返信を投稿したりすることがあります。
6. 脆弱性：プログラマーがWeb・ボットを作成し、ページをクロールしてセキュリティ上の問題を探します。レポートは、攻撃を仕掛けてくる可能性のあるハッカーの手に渡ります。

こうした悪質なボットは、1つでも、あるいはすべてが、企業に多大な金銭的損害をもたらす可能性があります。

悪意のあるボットによるサイトへの攻撃を防ぐには、どうすればよいでしょうか？

Webサイトからすべてのボットを締め出すのは賢明ではありません。それらが提供するメリットの一部をご利用いただけます。しかし、悪意のあるボットを排除するために、できる限りの対策を講じる必要があります。

悪意のあるボットをブロックするには、どのような対策を講じればよいでしょうか。

サイトを保護するには多層的なアプローチが必要です。ここでは、最も効果的な方法をご紹介します。

3つのステップをお試しください。

1. Webサイトの設定を調整します。 robots.txtファイルというごく短いコードで、サイトのどの部分をクロールすべきか、すべきでないかをボットに指示します。特定のページを検査対象から除外する場合に使用します。ただし、ルールに従うのは善良なボットだけであることをご承知ください。悪意のあるボットは、こちらの都合などお構いなしに、やりたい放題のことをするでしょう。
2. プログラマーを採用してください。専門家に依頼してレポートを分析してもらい、ボットトラフィックの原因となっているインターネットプロトコル（IP）アドレスを特定します。フィルタリングツールを使用して手動でブロックしてください。
3. ツールを使用してください。ボット管理ソリューションは、コードを使用して悪意のあるボットによる混乱を防ぎます。こうしたツールは機械学習を使用しているため、長く使うほど効果が高まります。

Oktaでは、優れたボット管理ソリューションを提供しています。OktaとPerimeter Xの連携により、悪意のあるボットによるビジネスへの脅威を阻止します。その仕組みをご覧ください。

よくある質問（FAQ）

インターネットトラフィックの何パーセントがボットによるものですか？

インターネットトラフィック全体の約40％は、人間の訪問者ではなくボットから発生しています。つまり、あらゆるWebサイトにおけるアクティビティのかなりの部分が自動化されている可能性があるということです。

Webサイトがボットトラフィックの標的になっているかどうかを確認するには、どうすればよいですか？

一般的な兆候としては、異常に高い直帰率（ボットは数秒でページを離脱します）、サイト全体を1ページずつクロールするトラフィック、サイトが通常サービスを提供していない地理的地域からの突然の訪問者流入などが挙げられます。意味不明なコメントやフォーム送信も、不正の兆候です。

すべてのトラフィックボットは有害ですか？

いいえ。ボットの多くは、検索エンジンによるコンテンツのインデックス作成の支援、サイトのアナリティクスの監視、著作権侵害の検出、検索エンジン最適化の改善など、不可欠な機能を実行します。重要なのは、こうした有益なボットと悪意のあるボットを区別することです。

悪性ボットがもたらす経済的影響は何ですか？

悪意のあるボットは、甚大なコストを発生させる可能性があります。広告詐欺ボットだけでも、年間約350億ドルの損害を企業に与えると推定されています。また、分散型サービス妨害（DDoS）攻撃によってサイトが完全にオフラインになり、攻撃を停止するためにハッカーから金銭を要求されることもあります。

robots.txtファイルは、悪意のあるボットからサイトを完全に保護できますか？

robots.txtファイルは、ボットが避けるべきページを示す有用な第一の防御線ですが、準拠する善意のボットにしか機能しません。悪意のあるボットは、こうした指示を日常的に完全に無視します。

悪意のあるボットを阻止する最も効果的な方法とは何ですか？

単一の方法だけでは不十分です。最も強力な防御策は、robots.txtの設定で準拠ボットを誘導し、手動のIP（インターネットプロトコル）ブロッキングで既知の攻撃者に対処し、機械学習を活用したボット管理ツールで検知能力を継続的に向上させるという、3つの対策を組み合わせることです。

参考文献

• WebサイトにおけるGoogleアナリティクスの使用統計と市場シェア。W3 Techs。
• 不正なボットがWebトラフィックの20％を占める。(2019年4月)ZDNet。
• 著作権侵害。デジタルメディア法プロジェクト。
• CHEQレポート：2020年、デジタル広告詐欺による世界の損失額は350億ドルに達すると予測。（2020年11月）Martech Series