技術的な話ばかりですみません。
現在、150点の無在庫商品の自動価格更新のため、Amazon、価格com、楽天、ヤフーの4店舗から価格情報を得ています。
1点につき4つのURL、計600URLを同時に並列して閲覧しようとすると、システムに負荷がかかります。VPSサーバ上ならなおさらリソースが厳しい。厳密には店舗毎に一括取得しているので、150URLずつ、でしょうか。
最近、URL取得に時間がかかったり、途中で落ちる事象が起きていました。やはり負荷が高過ぎるのだろうと感じまして、一気に取得する方式から、一定の数ごとにURLを並列取得する方式に変えました。cURLのcurl_multiに放り込む数に制限をかけた、というわけです。
結果、処理時間も短く、安定して出力できるようになりました。これならURLをいくら増やしても問題ありません。一定の数に関しては、運用しつつ最適解を探そうと思います。
…PHPを知らない人はゴメンナサイな内容でした。