Technické řešení pro crawlovací boty OpenAI
Zjistili jsme, že crawlovací bot OpenAI komplexně čte obsah našeho webu. Vysokorychlostní zpracování způsobuje zatížení výpočetního výkonu našich systémů souvisejících s AI. V současné době dochází k přístupům překračujícím stanovené limity rychlosti a zvažujeme vhodné technické řešení, jako je konfigurace robots.txt a optimalizace omezení rychlosti. Omlouváme se za případné nepříjemnosti.
View original
OpenAIのクローリングボットへの技術的対応について
OpenAIのクローリングボットが当社のサイトを網羅的に読み込んでいることが判明しました。高速処理により、当社のAI関連システムの処理能力に負荷が生じている状況です。現在、定められたレート制限値を超えるアクセスが発生しており、robots.txtの設定やレート制限の最適化など、適切な技術的対応方法を検討しています。ご不便をおかけしている場合はご容赦ください。
♥ 0 💬 0 👁 434