Об автоматизации: бот парсит 404-е страницы
Бот принимает перечень страниц и выдает перечень битых ссылок, т.е. показывает страницы с ошибками
  • Предыстория: ручная рутина против эффективности
    В работе с сайтами, SEO-оптимизацией и контент-маркетингом существует одна рутинная, но критически важная задача — контроль целостности ссылочной массы. Рано или поздно перед любым специалистом встает вопрос: «А все ли ссылки на моем сайте ведут туда, куда нужно?».
Проблема возникла из стандартной, но очень болезненной ситуации. Представьте себе: у вас есть большой посадочный лендинг, архив статей или интернет-магазин, где сотни (а то и тысячи) внутренних и внешних ссылок. Раньше процесс проверки выглядел так:

  1. Вы собираете URL-адреса в Excel-файл (порой вручную, либо выгружаете их из парсера).
  2. Начинаете поочередно открывать каждую ссылку в браузере, чтобы визуально убедиться, что страница существует и не отдает ошибку 404.
  3. При обнаружении битой ссылки — делаете пометку в таблице, тратя время на переключение между вкладками и ожидание загрузки страниц.
Этот процесс имел три главных недостатка:

  • Трудоемкость: Если ссылок 500, то проверка занимала целый рабочий день.
  • Человеческий фактор: В монотонной работе легко пропустить ошибку или случайно закрыть не ту вкладку.
  • Отсутствие истории: После проверки файл отправлялся коллеге, и данные терялись в чатах или «умирали» на локальном диске, не давая возможности отследить динамику появления новых битых ссылок.
Каждый месяц уходили часы рабочего времени только на то, чтобы убедиться, что сайт не теряет клиентов из-за неработающих переходов. Нужно было решение, которое исключит «ручной режим», сделает процесс быстрым, безошибочным и доступным для любого члена команды, независимо от его технических навыков.
Именно для решения этой задачи родилась идея бота, который берет на себя всю «грязную» работу по валидации ссылок.
Вычисление страниц 404
Как работает этот бот:
  • Пользователь отправляет боту Excel-файл со ссылками (столбец A — URL). Бот скачивает файл, парсит ссылки и загружает их в базу данных Supabase.
  • Уведомляет пользователя, сколько ссылок загружено и что проверка началась. Проверяет каждую ссылку.
  • Обновляет статус в базе и ждёт 1 секунду между запросами (чтобы не заблокировали). После проверки собирает все ссылки со статусом 404.
    Отправляет список битых ссылок пользователю в Telegram
Выводы: насколько полезен процесс
  • Полезен, особенно для:
    • SEO-специалистов — массовая проверка ссылок на сайте.
    • Контент-менеджеров — контроль внешних и внутренних ссылок.
    • Маркетологов — аудит рассылок и посадочных страниц.
    Плюсы:
    • Полная автоматизация через Telegram.
    • Не требует навыков программирования.
    • Работает с большими списками (батчами).
    • Сохраняет историю проверок в базе
Made on
Tilda