Здравствуйте!
Импортирую на локалхост с помощью Drush и Feeds командой:
drush feeds:import <feed_id> --import-disabled
Можно ли запустить сразу несколько импортов feeds, чтобы они импортировались одновременно?
Не нашел решения, кроме как открыть несколько консолей с Drush. Но насколько это безопасно для БД в плане возникновения каких-либо ошибок, если что-то не так запишется?
- Блог
- Войдите или зарегистрируйтесь, чтобы отправлять комментарии
Комментарии
Более интересный вопрос: а что вам (по вашему мнению) даёт одновременный импорт несколькими параллельными процессами через Drush?
Суммарное количество импортируемых элементов выше. Один процесс импорта не загружает процессор и диск даже наполовину, т.е. параллельный импорт даст большее количество импортируемых элементов в единицу времени.
Честно говоря, не уверен, что будет какой-то выигрыш. Если процесс импорта, по вашим словам, не существенно нагружает процессор, то могут существовать в системе значения приоритетов/лимитов процессов, выше которых не прыгнешь без специальных манипуляций с системным окружением. Скажем, "слабым звеном" окажется сервер MySQL, к которому вы обращаетесь через консоль/терминал. И в таком случае, сколько бы экземпляров консоли вы не создали - производительность не вырастет, будет просто снижение скорости обработки в параллельных процессах.
Но попробовать никто не мешает, конечно. Тут вопрос в том, имеет ли смысл как-то специально заморачиваться с вопросом "побьётся ли что-то в таблицах", если выигрыша может не быть в принципе.
Забекапьте БД и просто попробуйте ваш сценарий. Если увидите заметный прирост скорости обработки, то можно предметнее озаботиться вашим вопросом валидного сохранения рядов SQL.
Прирост есть. С одним процессом около 1000 в минуту, с 10 процессами около 5000 в минуту, т.е. более 5 процессов запускать особо нет смысла в моем случае. Пару дней потестировал, ничего не сломалось, импортируется стабильно, если прерывать, то тоже ничего не ломается. Тут модуль Feeds мне понравился. Сначала в час улетало около 300000 записей, но примерно на 4 миллионе все ниже и ниже скорость. Думаю, тут уже модуль не причем, он сделал все что мог)) Буду настраивать прямой импорт в БД.