Слід зазначити, що написання коду передує ретельна робота з вивчення джерела даних, його структури, обсягу даних, взаємних зв’язків між одиницями інформації тощо. Необхідно визначити технології, що використовуються для роботи сайту. З аналізу зібраної інформації визначаються підходи до написання програми.
Зазвичай, на один сайт середньої складності йде від двох днів до тижня в залежності від поточної завантаженості.
Основний час складається із часу завантаження сторінки (даних) із сервера. Після цього збирання інформації відбувається практично миттєво. Тобто якщо ви вже знаєте сайт-джерело, ви можете виміряти середній час завантаження і помножити на кількість сторінок, з яких треба зібрати інформацію. Так само на якийсь час можуть впливати нестійкість з’єднання, проблеми на сервері сайту-джерела, блокування і т.д.
Збір інформації з інших джерел (API-сервіси, текстові файли, бази даних, табличні дані) відбувається досить швидко і обчислюється хвилинами. Тут основний час займає написання програми парсингу.
Насправді його може і не бути, якщо структура вашого сайту та структура сайту-джерела повністю збігаються. Однак таке буває надзвичайно рідко. До того ж, часто доводиться збирати дані з різних джерел, структури яких також рідко бувають ідентичними.
Зібрані дані необхідно привести до єдиного формату, визначитися із загальними для всіх даних одиницями вимірювань, виключити дублікати та синоніми і, зрештою, створити потрібний вид каталогу.
Іноді такий каталог корисно оформити у вигляді окремої невеликої програми, своєрідної бази даних, яка буде у вас завжди під рукою для швидкого пошуку, а також для різноманітних експериментів зі структурою даних. Вона також стане в нагоді у разі виникнення в майбутньому потреби швидко порівняти вже наявні у вас дані з новими джерелами.
Коли ваша структура даних готова, вона все одно є абстрактним виглядом. Тобто каталог має категорії, товар має атрибути, але для того, щоб імпортувати все це на сайт треба ще створити драйвер під конкретну архітектуру бази даних сайту.
Іншими словами, необхідно зробити своєрідну карту, керуючись якою програма розкладатиме ваші дані (зазвичай це спеціально підготовлені таблиці Excel) до бази даних сайту.
Сам процес імпорту значною мірою залежить від Вашого хостингу, швидкості його роботи, різних встановлених на ньому обмежень, а також складності структури як каталогу в цілому, так і товару зокрема. Чим більше завантажуватиметься товарів, тим процес згодом ставатиме повільніше.
Наприклад, процес завантаження в порожній інтернет-магазин на базі WordPress тисячі товарів з однією картинкою займе не більше години навіть на слабкому хостингу. Однак якщо провести таку ж операцію в той час, коли на сайті вже знаходиться 150-200 тисяч товарів, то це може зайняти вже кілька годин і швидше за все вимагатиме розбивки на менші партії імпорту.
Немає обмежень на те, яким способом особисто ви «споживатимете і засвоюватимете» загальнодоступну інформацію: очима, вухами, пальцями чи технічними пристосуваннями, чи будете ви її запам’ятовувати і, якщо так, то як ви це робитимете. Ніхто не забороняє вам аналізувати чи структурувати інформацію за допомогою власного мозку чи, знову ж таки, за допомогою технічних засобів.
Питання законності починається з використання. І тут уже все залежить від самої інформації, які права на неї або пов’язану з нею продукцію встановлені (авторські, торгові, ліцензійні …), чи можна її поширювати як свою або від свого імені, чи можна її продавати без ліцензії чи дозволу правовласника і т.п. .д. Оскільки тут виникає безліч питань у кожній конкретній ситуації, то й у кожному певному випадку краще проконсультуватися у профільного юриста. Від свого імені я наполегливо рекомендую це зробити, щоб уникнути майбутніх неприємностей.