Тестовое задание: Crowd / Технический менеджер проектов

Анализ лога краудсорсингового проекта по бинарной разметке URL (workflow REGION_MARKUP). Цель — оценить качество разметки, найти проблемные контрольные задания и посчитать ключевые метрики проекта.

Задание 1. Привести данные к удобному формату

Исходный TSV-файл содержит JSON-поля, «сжатые» в строки, и Unix-таймстемпы. Чтобы данные стали пригодны для анализа, нужно: распарсить JSON, перевести времена в datetime и развернуть страницы-ассайменты в длинный формат «одна строка = одно микро-задание».

Ключевые шаги

# 1. Загрузка
df = pd.read_csv(SRC, sep="\t")

# 2. Unix-секунды -> datetime
for col in ("assignment_skip_time", "assignment_start_time", "assignment_submit_time"):
    df[col] = df[col].apply(lambda ts: pd.to_datetime(int(ts), unit="s", utc=True)
                            if pd.notna(ts) else pd.NaT)

# 3. Длительность работы над страницей
df["duration_sec"] = (df["assignment_submit_time"] - df["assignment_start_time"]).dt.total_seconds()

# 4. JSON-поля
df["solutions_parsed"] = df["assignment_raw_solutions"].apply(json.loads)
df["tasks_parsed"]     = df["task_suite_raw_tasks"].apply(json.loads)

# 5. Длинный формат: одна строка = одно задание внутри страницы
rows = []
for _, r in df.iterrows():
    for i, task in enumerate(r["tasks_parsed"]):
        url   = task["input_values"]["input"]["view"]["data"]["region_markup"]["url"]
        known = task.get("known_solutions")
        gold  = known[0]["output_values"]["result"] if known else None
        ans   = r["solutions_parsed"][i]["output_values"].get("result") if i < len(r["solutions_parsed"]) else None
        rows.append({
            "assignment_id": r["assignment_assignment_id"],
            "worker_id":     r["worker_id"],
            "task_index":    i,
            "url":           url,
            "is_honeypot":   bool(known),
            "gold_answer":   gold,
            "worker_answer": ans,
            "is_correct":    None if not known else (ans == gold),
        })
tasks_long = pd.DataFrame(rows)

Сводка по данным

Задание 2. «Сложные» и «неоднозначные» контрольные задания

Контрольное задание идентифицируем по URL. Группируем все показы ханипота, считаем долю верных ответов и баланс «yes/no». Чтобы статистика не шумела, фильтруем URL с ≥ 5 показов — таких 268.

Метрики

• accuracy_yes_no — доля верных ответов среди {yes, no}. Ответы not_working исключаем, потому что это «техническая» реакция (сайт не открылся), а не смысловая ошибка.
• ambiguity_score = 1 − 2·|yes_share − 0.5| — 1.0 = идеально 50/50.
• entropy_bits — двоичная энтропия ответов yes/no.

Доля «сложных» (acc < 50%): 17,9%. Доля «неоднозначных» (40–60% yes): 10,1%.

Топ «сложных» (примеры из 32 URL с 0% accuracy)

Полный список — honeypot_hardest.csv.

Топ «неоднозначных» (yes/no близко к 50/50)

Полный список — honeypot_most_ambiguous.csv.

Задание 3. Дополнительные метрики проекта

5 метрик, главная (M1) — качество разметки.

M1. Honeypot accuracy — главная метрика качества

Польза: прямой индикатор корректности разметки. 74% — это средне-низко для бинарной задачи; обычно проект считается «здоровым» при ≥85%. Гистограмма унимодальная (мода ~80%), без явного второго пика «ботов» у нуля — массового мошенничества нет, но левый хвост (≈170 воркеров с acc < 70%) тянет среднее вниз.

M2. Status mix — здоровье воркфлоу

Польза: EXPIRED-rate 13% — ощутимая утечка. SUBMITTED/REJECTED отсутствуют — значит, отдельной модерации после автоприёма по ханипотам нет. Это означает, что 86,7% APPROVED не равно 86,7% хороших ответов: сюда же попадают страницы воркеров с accuracy 60–70%.

M3. Throughput — производительность

Польза: показывает, что задание реально трудоёмкое (~37 сек на URL — успеть открыть сайт и оценить). Подозрительно быстрых страниц мало — массового «кликания» нет, проблема качества лежит в плоскости понимания задачи, а не скорости.

M4. Worker concentration — устойчивость пула

Польза: работа размазана — bus-factor низкий, нет «ключевых» воркеров, потеря которых сломает проект. Это плюс с точки зрения устойчивости, но минус с точки зрения управляемости качеством: каждый воркер делает в среднем 9,5 страниц — мало для надёжной оценки accuracy на новичках.

M5. Honeypot density

Польза: проверка корректности настройки контроля. 15% — стандартное значение (обычно 10–20%); у нас есть достаточно сигнала для оценки воркеров (в среднем 1–2 контрольных на 10 заданий).

Сводная таблица всех метрик

Итоговый вывод

1. Данные приведены к удобному формату: два CSV (assignments_clean.csv, tasks_long.csv) с распарсенными JSON и человекочитаемыми временами; готовы для любых groupby и визуализации.
2. Сложные/неоднозначные ханипоты найдены: 48 URL с accuracy < 50% (из них 32 с 0% — с большой вероятностью неверный gold) и 27 URL с расщеплением 40–60%. Эти 75 URL — приоритет для ревизии командой контроля качества.
3. Качество проекта 74% — ниже бенчмарка (~85%). Главные рычаги для роста:
   1. ревизия gold у проблемных ханипотов уберёт ложные штрафы и поднимет accuracy воркеров без их участия;
   2. бан/перенаправление 16,6% слабых воркеров поднимет среднее;
   3. сокращение 13% EXPIRED-страниц через более короткие тайм-ауты или более привлекательную оплату ускорит конвейер.
   Фрод (рандом-клик) практически отсутствует — проблема в понимании задания, а не в злом умысле.

Код и артефакты

Полный код, исходный TSV и промежуточные CSV — в репозитории. Скрипты разбиты по заданиям:

• task1_normalize.py — парсинг JSON, развёртка в длинный формат
• task2_honeypots.py — поиск сложных и неоднозначных контрольных заданий
• task3_metrics.py — расчёт 5 метрик
• task4_charts.py — генерация PNG-графиков

Артефакты в data/: metrics_summary.csv · honeypot_hardest.csv · honeypot_most_ambiguous.csv · worker_quality.csv · honeypot_stats_all.csv · assignments_clean.csv