Затрудняетесь с заполнением данных? Плагин Automa поможет вам с легкостью!

Испытываете ли вы какие-либо из этих проблем?"Копирование и вставка данных вручную отнимает слишком много времени и неэффективна"..;"Я хочу собирать данные с веб-страниц в большом количестве, но не знаю, как написать код"..;"Я пробовал другие инструменты для краулеров, но они слишком сложны и дороги в освоении"..;"Я беспокоюсь, что краулеру запретят доступ к сайту, и не знаю, как с этим справиться"..

Не волнуйтесь! Сегодня я расскажу вам, как использовать Automa Этот артефакт делает работу с данными простой и эффективной!

1. Automa: ваш помощник по сбору данных без кодов

Обзор интерфейса плагина Automa

Automa - это мощный плагин автоматизации для Chrome. Он поможет вам"Автоматизация просмотра веб-страниц, пакетный сбор данных, экспорт данных в различные форматы и установка заданий по времени..

Самое главное:"Не нужно писать никакого кода, просто сделайте это через визуальный интерфейс!"

2. От новичка к мастеру: три шага к ползанию по данным

Шаг 1: Установка и базовая настройка

Найдите "Automa" в магазине Chrome и установите его, нажмите на значок Automa в правом верхнем углу браузера и создайте новый рабочий процесс.

Экран установки магазина Chrome

Расположение плагина Automa

Экран создания рабочего процесса

Шаг 2: Разработка рабочего процесса

В качестве примера можно привести поиск данных о товарах электронной коммерции."Основные шаги"В комплекте:"Установка начальной страницы, добавление зацикленного блока для обработки пагинации, извлечение информации о продукте и, наконец, экспорт данных"..

Шаг 3: Запуск и оптимизация

Для обеспечения стабильности и эффективности сбора данных"Вам нужно установить разумное время задержки, чтобы дождаться окончания загрузки страницы".. В то же время важно"Добавьте механизм обработки ошибок для предотвращения непреднамеренных прерываний"..

3. практический пример: небольшой сладкий картофель для сбора данных в горячем состоянии

Концептуальная записка Automa Core

Прежде чем мы перейдем к деталям, давайте рассмотрим несколько основных концепций Automa:

1. Рабочий процесс (Рабочий процесс): контейнер для общего потока задач
2. Блок: каждый конкретный функциональный модуль
3. Селектор: инструмент для позиционирования элементов на веб-странице.
4. Переменная: хранит временные данные.
5. Триггер: условие, инициирующее рабочий процесс.
6. Таблица: форма для сбора и систематизации данных.

Обзор основ автоматизации рабочих процессов

Деловое исследование

Давайте рассмотрим, как использовать Automa для сбора данных о горячих заметках на примере сбора данных о горячих заметках Little Sweet Potato. По своей сути он имитирует процесс сбора данных вручную, а затем с помощью Automa автоматизирует его.

Процесс сбора данных из Красной книги

Сначала давайте посмотрим, как использовать Automa для сбора данных из Красной книги. Весь процесс разделен на следующие шаги.

Создание рабочих процессов и настройка триггеров

Создайте рабочий процесс под названием "Сбор данных Xiaohongshu". В триггере добавьте параметр "key_word", который используется для ввода ключевого слова для поиска. По умолчанию для этого параметра установлено значение "независимый разработчик".

Конфигурация триггера

Откройте целевую страницу и выполните поиск

С помощью блока "Новая вкладка" откройте главную страницу Little Red Book (https://www.xiaohongshu.com/explore). Затем используйте блок Forms, чтобы разместить поисковую строку.

Как выбрать элементы

1. Найдите следующий значок на боковой панели приборной панели, чтобы перейти на страницу выбора элементов
   

   Получить селектор

2. Выберите элемент на странице захвата и нажмите кнопку копирования в правом верхнем углу
   

   Селектор копирования

3. Вставьте элементы, выбранные в предыдущем шаге, в Css Selcetor Automa
   

   Селектор пасты

Циклический сбор данных

Итерация по списку нот с помощью блока Loop Elements. Нам нужно получить селектор для списка нот:

1. На странице списка заметок щелкните правой кнопкой мыши на любой из обложек заметок.
2. Получите селектор ".note-item .cover" с помощью инструмента получения селектора Automa

циклическая конфигурация

Откройте пост и узнайте подробности

В цикле нам нужно нажать на каждую заметку, чтобы перейти на страницу с деталями. Здесь необходимо отметить следующие моменты.

1. "Ожидание загрузки страницы"Используйте блок Wait Element, чтобы убедиться, что страница загрузилась полностью.
2. "Нажмите на обложку записки".С помощью блока Click Element щелкните на обложке каждой ноты.
3. "Подождите, пока загрузится страница с подробной информацией"Используйте блок Wait Element, чтобы убедиться, что страница с деталями полностью загружена.
   

   Схема открытого элемента

Селекторный метод сбора данных, собранных в каждом цикле:

1. Имя KOL: щелкните правой кнопкой мыши на имени автора > проверить > скопировать селектор "a.name"
2. Заголовок заметки: селектор "div#detail-title"
3. Содержание заметки: selector "#detail-desc > .note-text > span"
4. Интерактивные данные.
   • Likes: ".left > .like-wrapper > .count"
   • Количество коллекций: "#note-page-collect-board-guide > .count"
   • Количество комментариев: ".chat-wrapper > .count"

Пример селектора

Экспорт данных

Наконец, используйте блок "Экспорт данных", чтобы экспортировать собранные данные в формат CSV.

наконечник

• Если селектор не точен, попробуйте использовать XPath
• Добавьте соответствующую задержку, чтобы дождаться загрузки страницы
• Регулярно проверяйте селектор на предмет неисправности
• Рекомендуется собирать не более 20 данных за один раз
• Контролируйте частоту сбора, не собирайте часто

Весь рабочий процесс может стабильно выполнять задачу сбора данных благодаря разумному управлению задержкой и позиционированию селектора. В то же время, благодаря параметризованной конфигурации, удобно настраивать ключевые слова сбора данных в соответствии с различными потребностями.

4. Часто задаваемые вопросы и решения

Объяснение динамического селектора

Нам часто приходится использовать динамические селекторы, когда нужно собрать несколько похожих элементов. Давайте узнаем об этом на практическом примере.

Возьмем для примера этот селектор.

!!.note-item:nth-child({{loopData.loopId.$index+1}}) .cover

Этот селектор выглядит сложным, поэтому давайте разберем его пошагово.

!! Префикс - это специальный синтаксис Automa для использования селекторов JavaScript вместо селекторов CSS, позволяющий нам использовать более гибкие методы выбора.

.note-itemВыберите элемент с классом "note-item", который обычно является контейнером для каждого сообщения в списке.

:nth-child()это селектор подэлементов CSS, используемый для выбора подэлементов в определенном месте, с числами или выражениями внутри скобок.

{{loopData.loopId.$index+1}}попал в точку{{}}это синтаксис переменных Automa, аloopData.loopId.$indexтекущий индекс в цикле (начиная с 0), и+1это потому, что:nth-childНачните считать от 1.

.coverВыберите конечный целевой элемент, в данном случае изображение обложки поста.

Настройте блок циклов следующим образом.

{
  selector: "!!.note-item:nth-child({{loopData.loopId.$index+1}}) .cover",
  timeout: 5000
}

Почему он написан именно так? Потому что это позволяет динамическое позиционирование:

• 1-й цикл. .note-item:nth-child(1) .cover
• 2-й цикл. .note-item:nth-child(2) .cover
• 3-й цикл. .note-item:nth-child(3) .cover
• и так далее...

Это позволяет избежать проблемы фиксированных селекторов:

/* 错误写法 */
.note-item .cover  // 会选中所有cover元素

/* 正确写法 */
!!.note-item:nth-child({{loopData.loopId.$index+1}}) .cover  // 精确选择当前循环的元素

Если вы не уверены в правильности селектора, вы можете проверить его в консоли браузера по адресу.

// 假设当前是第3次循环
document.querySelector('.note-item:nth-child(3) .cover')

Также можно использовать функцию ведения журнала Automa:

{
  type: "log",
  message: "当前选择器: .note-item:nth-child({{loopData.loopId.$index+1}}) .cover"
}

Благодаря такому подходу к динамическим селекторам мы можем точно определить местоположение целевого элемента в каждом цикле, избежать выбора неправильного элемента и повысить стабильность и точность рабочего процесса. Написание селекторов - одна из самых важных частей сбора данных, а разумное использование динамических селекторов может сделать ваш рабочий процесс более надежным и прочным.