AIクローラーによる過度なアクセスへの対応方法
SEO最適化を進める中で、AIクローラーのアクセス量が予想以上に多いことに気づきました。CloudFlareの分析データを確認したところ、短期間で約20GB程度の転送量が発生しており、同じページが連続して何度も瞬間的にクロールされています。秒間あたりの同時接続数は10～20程度と推測されます。
このような重複クローリングが本当に必要なのか。。。
♥ 0 💬 0 👁 31
ログインして依頼する
登録する
プロフィールを見る
SAKURA WALLET / KYC
メッセージはKYC前でも利用できます。仕事の依頼・受注、デポジット、報酬受取にはSAKURA WALLETアカウントとKYC確認が必要です。
このユーザーの出品スキル
もっと見る →
💻
開発・プログラミング
active
国内及び海外の暗号資産取引所を活用したアービトラージ・レイテンシーBOT開発
現在、FABLE5を利用して国内及び海外の暗号資産取引所のウェブソケットエンドポイントに接続...
AI翻訳
💻
開発・プログラミング
active
AI・MCPサーバー設計と導入
AIを活用したサービスにおいて、貴社で運用するシステムに対してMCPサーバーの導入とAIによ...
AI翻訳