Техническое задание (ТЗ) на разработку парсера объявлений с сайта https://gancxadebebi.ge/ru/

Цель:
Создать парсер объявлений с сайта https://gancxadebebi.ge/ru/, который будет собирать определенные данные и передавать их по API.

Требования:
Сайт для парсинга:

URL: https://gancxadebebi.ge/ru/

Собираемые данные:
Город
Регион
Категория
Подкатегория
Номер телефона (или несколько номеров, если указаны)
Дата добавления обьявления

Формат передачи данных:
Все собранные данные должны передаваться по API.
Формат данных: JSON.
Пример структуры JSON:
jsonКопировать код{
"city": "Тбилиси",
"region": "Картли",
"category": "Недвижимость",
"subcategory": "Аренда квартир",
"phone_numbers": ["+995123456789", "+995987654321"]
}

API для передачи данных:
Указать URL API для передачи данных (будет предоставлен позже).
Метод передачи данных: POST.

Алгоритм работы парсера:
Парсер должен собирать все объявления с сайта, разбивая их на меньшие категории в случае ограничения на количество страниц (например, если отображается максимум 100 страниц по 15 объявлений на каждой, необходимо дробить на подкатегории).
После полного сбора данных, парсер должен запускаться раз в сутки для сбора новых объявлений.

Технические требования:
Поддержка многопоточности для ускорения процесса парсинга.
Возможность работы через прокси для обхода блокировок (обьявлений не много, возможно не потребуется)
Обработка ошибок и логирование (механизмы для повторной попытки в случае неудачной передачи данных или недоступности сайта).
Частота обновления данных:

Парсер должен запускаться каждые 24 часа для сбора новых данных.
Возможность ручного запуска для экстренного обновления данных.
Дополнительные требования:
Должна быть возможность расширения функционала парсера в будущем (добавление новых полей, изменение логики сбора данных).
Парсер должен работать на сервере под управлением операционной системы Linux.
Документация по установке и запуску парсера.
Комментарии в коде для лучшего понимания логики работы.

Этапы разработки:
Разработка и тестирование парсера.
Интеграция с API для передачи данных.
Тестирование полного цикла работы парсера.
Передача документации и исходного кода.

Сроки выполнения:
Разработка и тестирование парсера: [10 дней]
Интеграция с API и тестирование: [10 дней]

Техническое задание (ТЗ) на разработку парсера объявлений с сайта minda.city или baraholka.ge/ru (дублируются)

Цель:
Создать парсер объявлений с сайта https://minda.city/, который будет собирать определенные данные и передавать их по API.

Требования:
Сайт для парсинга:
URL: https://minda.city/

Собираемые данные:
Город
Регион
Категория
Подкатегория
Номер телефона (или несколько номеров, если указаны)
Имя
Дата добавления обьявления
Формат передачи данных:

Все собранные данные должны передаваться по API.
Формат данных: JSON.
Пример структуры JSON:
jsonКопировать код{
"city": "Тбилиси",
"region": "Картли",
"category": "Недвижимость",
"subcategory": "Аренда квартир",
"phone_numbers": ["+995123456789", "+995987654321"]
}

API для передачи данных:
Указать URL API для передачи данных (будет предоставлен позже).
Метод передачи данных: POST.
Алгоритм работы парсера:
Парсер должен собирать все объявления с сайта, разбивая их на меньшие категории в случае ограничения на количество страниц (например, если отображается максимум 100 страниц по 15 объявлений на каждой, необходимо дробить на подкатегории).
После полного сбора данных, парсер должен запускаться раз в сутки для сбора новых объявлений.

Технические требования:
Поддержка многопоточности для ускорения процесса парсинга.
Возможность работы через прокси для обхода блокировок (обьявлений не много, возможно не потребуется)
Обработка ошибок и логирование (механизмы для повторной попытки в случае неудачной передачи данных или недоступности сайта).

Частота обновления данных:
Парсер должен запускаться каждые 24 часа для сбора новых данных.
Возможность ручного запуска для экстренного обновления данных.

Дополнительные требования:
Должна быть возможность расширения функционала парсера в будущем (добавление новых полей, изменение логики сбора данных).
Парсер должен работать на сервере под управлением операционной системы Linux.
Документация по установке и запуску парсера.
Комментарии в коде для лучшего понимания логики работы.
Этапы разработки:
Разработка и тестирование парсера.
Интеграция с API для передачи данных.
Тестирование полного цикла работы парсера.
Передача документации и исходного кода.
Сроки выполнения:
Разработка и тестирование парсера: [10 дней]
Интеграция с API и тестирование: [10 дней]

Нужно создать простой «клиент» на php который будет отправлять и принимать сообщения из бота вайбер.
Нужна возможность хранить историю переписки в базе данных и возможность подставлять разные ключи для разных ботов.
У нас есть интерфейс для этого на Vue. Так что нужны будут еще эндпоинты для получения/передачи сообщений.


Стек технологий:

1) PHP (7.3.18) / Laravel (7.10.3)
2) пакет https://caffeinatedpackages.com/guide/packages/modules.html (обязательно!)
3) mysql >= 5.7
4) git
5) строгая типизация
6) SOLID
7) Swagger
8) PHPUnit
9) Ответы сервера должны быть в формате json. Использовать нужно вот этот хелпер https://github.com/dees040/laravel-api-responses


Детали технического задачния в приложении.

Стек технологий:1) PHP (7.3.18) / Laravel (7.10.3) 2) пакет https://caffeinatedpackages.com/guide/packages/modules.html (обязательно!) 3) mysql >= 5.7 4) git 5) строгая типизация 6) SOLID
7) Swagger 8) PHPUnit 9) Ответы сервера должны быть в формате json.
Детали технического задачния:
Задача будет состоять из 3-х крупных блоков:1) API для фронтенда
2) API сторонних сервисов
3) WebHook для Вайбер
4) Система отправки сообщений
Необходимо создать миграции и модули для таблиц:
viber_user_botsструктура:
id, user_id, bot_name, bot_key, created_at, updated_atотношения:
viber_user_bots.user_id = users.id | cascade
viber_bot_message_statuses (модель не нужна, но нужен сид)id, name, created_at, updated_atСид: новое, прочитано, отправлено
viber_bot_message_message_types (модель не нужна, но нужен сид)id, name, created_at, updated_atСид: text, picture, video, file, location, contact, sticker, carousel content, url
viber_bot_recipientsid, viber_key, name, avatar, created_at, updated_atОдин пользователь может принадлежать многим рассылкам и многим клиентам!
viber_bot_messagesid, bot_id, message_id, recipient, message, message_type, media (json), status, created_at, updated_atотношения:viber_bot_messages.bot_id = viber_user_bots.id | cascadeviber_bot_messages.recipient = viber_bot_recipients.viber_key | cascadeviber_bot_messages.message_type = viber_bot_message_message_types.id | nullviber_bot_messages. status = viber_bot_message_statuses.id | nullВ этой модели необходимо описать все отношения и методы для получения библиотечных данных для viber_bot_message_message_types и viber_bot_message_statuses
Необходимо создать контроллеры и эндпоины:API для фронтенда
1) GET | api/v1/viber-bot/get-unreaded-count - возвращает количество непрочитанных сообщений для текущего авторизованного пользователя. Параметры отсутствуют.2) GET | api/v1/viber-bot/get-bot-list - возвращает список ботов текущего пользователя и количество непрочитанных сообщений для каждого бота. Параметры отсутствуют.3) GET | api/v1/viber-bot/get-chats/{bot_id} - возвращает список всех чатов (получателей) в пределе данного бота и количество непрочитанных сообщений.Параметры:bot_id - id бота. Необходимо проверить принадлежит ли этот id пользователю который его запрашивает.4) GET | api/v1/viber-bot/{bot_id}/message/{recipient} - Получение всей переписки с определенным получателем в пределах одного бота. В ответе должны присутствовать не только id типов и статусов, а и сами статусы.Параметры:bot_id - id бота. Необходимо проверить принадлежит ли этот id пользователю который его запрашивает.recipient - ключ получателя5) POST | api/v1/viber-bot/{bot_id}/message - отправка сообщения получателю.Параметры:bot_id - id бота. Необходимо проверить принадлежит ли этот id пользователю который его запрашивает.recipient - ключ получателяmessage - сообщение (опционально, если есть медиа файл)media - данные об отпданные об отправляемом файле/ссылке/т.д. (опционально)message_type - id типа сообщения

Необходим чат бот телеграм который будет выгружать картинки на гугл диск в определенную структуру папок, и также создавать новые папки.

Структура папок

Папка "Скриншоты":
в этой папке находятся папки с названиями типов:
Авто, медицина, услуги, одежда, beauty......
а также должна быть возможность добавить новую папку ( в идеале только для админа).

а в них уже выгружаются файлы отправленные боту

Файлы бот переименовывает по следующему шаблону:

№_Название, Имя_отправителя, дата_отправки файла- в этот день



по структуре сообщений бота:

Приветственное сообщение:

Отправь мне фото макета


после отправки боту сообщения

бот спрашивает:

На какую тематику?

Получает список тематик
+ отдельный пункт другое , при котором сотрудник сам сможем вписать название тематики ( под это будет создана папка которая в след раз будет видна).
менеджер пишет название объекта

После выбора темы бот спрашивает:
Введите название:

После этого файлы попадают в соответствующую папку

Бот говорит "Спасибо, файлы добавлены"




Cколько будет стоить такой бот и какие сроки?

Написать Парсер номеров телефонов а также других данных ( Область,Город,Район,Категория,под категории,,Имя,Заголовок,Описание,Цена,Дата объявления,Номер объявления,URL объявления,В топе?)
Парсер должен уметь :
1) Парсить и сохранять в Excell данные с объявления сайта ( Тлефоны, Область,Город,Район,Категория,подкатегории,,Имя,Заголовок,Описание,Цена,Дата обьявления,Номер объявления,URL объявления,В топе?)
2) Иметь возможность меню установки выбора заданий для парсинга : по городу, области, району, категории , под категории, частное или бизнес обьявление, в топе или нет, по цене от и до. Также должна быть возможность сбора по конкретно указанной ссылке в рамках
3) Данные должны сохраняться следующием формате : Отдельно файлы ( частное и бизнес), отдельно с отсеиванием дублей по телефон и без .
НАПРИМЕР собираем город Луцк Частные , на выходе должны получить в папке "Луцк далее папка - ЧАСТНЫЕ - далее папка 06.01.2020" (папки создаются автоматически) . В последней папке "06.01.2020" файлы всех основных категорий по отдельности ( детский мир, недвижимость ,транспорт и т.д БЕЗ дублей телефонов, и файлы с общим количеством по городу с дублями и файл без дублей.
ПРИМЕР НАЗВАНИЯ ФАЙЛОВ
название файла 24.12.18.06.09 - WD (21620) - Волынская обл - Луцк Ч ( дата, WD - без дублей номеров телефонов, количество , область ,город, Ч-частные)
название файла 24.12.18.06.09 - WD (521620) - Волынская обл - Луцк Б ( дата, отсутствие WD обозначает что файл с дублями номеров телефонов, количество , область ,город, Б-бизнес)
4) Во время парсинга должен быть виден тулбар с информацией сколько процентов задачи выполнено уже, сколько объявлений уже собрано , сколько осталось
5) Должна быть возможность сбора ВСЕХ или почти всех 95%-100% объявлений заданного города ( максимум можно за 1 запрос увидеть 500 страниц, поэтому в фоне работы программы при необходимости запросы автоматом должны разбиваться на более мелкие для достижения цели, например надо собрать Харьков Ленинский район там 100 тысяч объявлений (2000 страниц) , в фоне парсер разбивает его на более мелкие задачи или по цене или по категориям подкатегориям, не важно как, главное чтобы на выходе мы получили 100 тысяч объявлений).
6) Парсер должен иметь возмодность работать с несколькими потоками ( прокси) для увеличения скорости сбора, прокси вносятся в txt файл (по определенному шаблону) в парсере указывается путь к файлу.
7) Скорость парсинга на 1 поток не менее 10000 объявлений в час ( при работе core i7, 16гб ОЗУ), или 50000 объявлений час (10-15 потоков).
8) Перед выдачей парсера разработчику необходимо протестировать сбор не менее 100 тысяч объявлений ( 1 средний город) и сравнить количество выданных результатов ( количество) с тем что пишет сайт, оно должно совпадать .
9) Ниже прилагаю скрины парсера который у меня был ранее ( сейчас по неизвестным причинам не работает, с разаработчиком связь утеряна).

Необходимо разработать сервис для работы с GSM модемом Wavecom Q2303. https://ru.aliexpress.com/item/FIMT-16-GPRS-SMS/32864743728.html?spm=a2g0s.9042311.0.0.50b333edbFmjLJ
Необходимо создать два эндпоинта
1) Получение номеров телефона.
Логика работы:
а) Открываем tellnet соединение с устройством.
б) путем ввода AT команд отправляем USSD запросы для получения номеров телефонов и возвращаем их в формате массива порт => номер
2) Получаем номер телефона
Логика работы:
а) в метод передается номер телефона
б) Метод обращается к методу 1 где получает номер порт по номеру телефона
в) Получаем смс сообщение используя tellnet и AT запросы.
Топология оборудования. sms_шлюз по ком порту подключен к micro_pc с UBUNTU. На micro_pc установлен LNMP. micro_pc подключен к интернету и имеет белый ip адрес.

Требуется ответственный Full Stack Web Developer на постоянную работу над существующими проектами и разработкой новых.

Требуются знания:

— php 7.1+, — Laravel 5.7 (Опыт работы с высоконагруженными проектами, очередями и биг дата проектами),

— Опыт написания API и использование сторонних API, — mysql (Опыт работы с высоконагруженными базами данных и оптимизацией запросов), — GIT (Опыт работы и глубокое понимание принципов работы с GIT), — VUE.js (Требуется навык разработки «с нуля» и поддержки уже существующего кода)

Условия работы:

Удаленная работа минимум от 6 часов в день. Оплата почасовая.

Необходимо создание личного кабинета, создать копию кабинета партнеров для отправки Viber и СМС сообщение по API.

а) front-end часть. копия предоставленного личного кабинета.
б) Back end часть . Создание билинга с заданной бизнес логикой.
в) Настроить отправку сообщение по API и отладить стабильную работу.

Подробнее объясню в телефоном режиме, покажу по teamwiviewer.

P.S. Есть и другие задачи касательно создание ПО для чекинга номеров viber, продвижения сайта и др.

Необходимо написать чекер номеров Viber основываясь на документацию API viber https://developers.viber.com/