Публикации

В разделе публикации будут размещаться материалы по теме краудсорсинга в России

Яндекс.Толока — туториал про основные компоненты краудсорсинга и практический опыт по эффективной разметке данных (2 часть)

Продолжаем серию публикаций по краудсорсингу от сервиса Яндекс.Толока.

Первая версия краудсорсинговой платформы Яндекс.Толока вышла в 2014 году. Изначально платформу строили для нужд Яндекс.Поиска (хотя идея приносить пользу другим сервисам и внешним заказчикам возникла сразу же). Алгоритмы учились ранжировать результаты Поиска по степени полезности, обучаясь на данных, которые размечались вручную: люди оценивали, релевантен ли найденный ответ поисковому запросу. Тем самым тысячи толокеров (так называют исполнителей) вносили и по-прежнему вносят вклад в качество Поиска.

Применение краудсорсинга в Поиске стало развитием идей, которые использовались и ранее, просто в менее автоматическом режиме.  Сегодня десятки тысяч толокеров регулярно проверяют информацию об организациях на Яндекс.Картах, улучшают рекомендации Яндекс.Музыки и поиск похожих изображений в Картинках. Беспилотный автомобиль учится определять разные типы объектов вокруг, ориентируясь на фотографии, размеченные исполнителями вручную. Целые блоки важных сервисов и отдельные сайты и приложения работают благодаря Толоке.

В 2016 году заказчики из-за пределов компании тоже получили возможность создавать задания в Толоке. Rambler Group поручил исполнителям модерацию на всех своих ресурсах, интернет-магазину Ozon и сервису «Авито» толокеры помогают улучшать поиск по товарам, стартап Dbrain распознаёт с помощью платформы текстовые документы (это ключевая часть продукта Dbrain). Суммарно над проектами Яндекса и других компаний ежедневно трудятся 30 тысяч исполнителей — они выполняют более двенадцати миллионов заданий в день. Со временем Толока превратилась из инфраструктуры для Поиска сначала в инфраструктуру для всего Яндекса, а затем — в инфраструктурную платформу для развития машинного обучения во всём русскоязычном интернете.

Полный курс туториала по краудсорингу от Яндекс.Толока — https://www.youtube.com/playlist?list=PLJOzdkh8T5kq9eSxQhUJ63HH68oPj532O

В первой части туториала по краудсорсингу обсуждаются ключевые компоненты, необходимые для сбора размеченных данных.

Во второй части туториала по краудсорсингу вы придумаете оптимальный конвейер для решения задачи.

В третьей части туториала по краудсорсингу подробно рассказывается про интерфейс заказчика в Яндекс.Толоке и детально объяснено, как создавать в нём проекты и запускать пулы.

Телеграм чат для обсуждений и вопросов по туториалу https://t.me/tutorialcrowd

Краудсорсинг - Яндекс.Толока сертифицированный партнёрСоздай свой проект в Толоке https://clck.ru/Jxq5P

Яндекс.Толока — туториал про основные компоненты краудсорсинга и практический опыт по эффективной разметке данных

Яндекс опубликовал первый русскоязычный туториал по краудсорсингу. Это серия видео о том, как с помощью передачи простых заданий большому числу исполнителей, можно эффективно собрать и разметить данные. Исполнителям можно поручить разные задания: найти что угодно в интернете, оценить дизайн, проверить или создать контент, поучаствовать в опросе, добраться до точки на карте и сфотографировать там что-нибудь. Тысячи людей будут одновременно выполнять перечисленные действия, формируя необходимый набор данных. Выпуск туториала — повод вновь поговорить о том, как краудсорсинг радикально меняет процессы в компаниях.

Следует заметить, что количество областей применения машинного обучения растет, а с ним и растет потребность в обучающих данных для настройки моделей. Производство таких данных в крупном масштабе требует построения специальных технологических процессов, которые, в частности, обеспечивают контроль качества и умное распределение задач между исполнителями.

Полный курс туториала по краудсорингу от Яндекс.Толока — https://www.youtube.com/playlist?list=PLJOzdkh8T5kq9eSxQhUJ63HH68oPj532O

В вводной части туториала рассказывается о том, что такое краудсорсинг, показывается на примерах, как он помогает оптимизировать бизнес-процессы и идет разговор о существующих краудсорсинговых платформах, включая Толоку.

Телеграм чат для обсуждений и вопросов по туториалу https://t.me/tutorialcrowd

Краудсорсинг - Яндекс.ТолокаСоздай свой проект в Толоке https://clck.ru/Jxq5P

Яндекс.Толока — Пишем инструкцию к заданию

Инструкция — это набор основных правил, которые должен изучить исполнитель, приступая к заданию. Хорошая инструкция даёт общее представление о проекте, учит правильно работать с новой информацией, а затем служит актуальным справочником. От чёткости и полноты инструкции зависит качество ответов, которые вы получите, и рейтинг проекта.

Написать инструкцию к заданию можно в визуальном редакторе или с помощью HTML-разметки. О том, какие теги и форматирование при этом использовать, читайте в Руководстве.

Вот несколько советов о том, как составить хорошую инструкцию.

Структура

В начале расскажите о цели проекта: как результат будет применятся в жизни, в чём польза этого задания и как оно поможет вашему бизнесу или исследованию. Так повышается значимость задания и ответственность исполнителя.

Дайте представление об организации работы: что и как предстоит делать. Предупредите об обучении и экзамене, если они есть. Для отложенной приёмки укажите срок проверки и кратко перечислите критерии оценки задания. (далее…)

Кейс: как с помощью чат-бота создать датасет из более 10 тысяч изображений за пять недель

Роман Куцев, основатель компании Trainingdata.ru, помогает стартапам создавать датасеты. Используя технологии краудсорсинга на базе «Яндекс.Толоки», Роман собирает датасет из фотографий людей, который в дальнейшем может быть использован для создания дейтинг-платформы.

Датасет — необходимые данные для работы нейросетей. Проще говоря — это то, что является основой так называемого искусственного интеллекта. Как правило, датасеты собираются индивидуально для какой-либо конкретной задачи. Такими задачами могут быть, например, классификация изображений или поиск объектов на фото.

Если нужно научиться находить пешеходов на изображении, то это уже задача определения объекта на изображении (object detection), и в этом случае нужен датасет из изображений, на которых люди выделены прямоугольниками. Также можно обучить алгоритм находить людей по описанию.

Есть два способа собрать или получить датасет с изображениями: простой и сложный. Простой — найти в интернете готовый датасет под конкретно вашу задачу. Для таких целей Google недавно запустил Dataset Search, который позволяет искать датасеты для разных задач.

Но довольно часто нужного датасета для вашей задачи просто не существует, либо лицензия запрещает его использование в коммерческих целях. Поэтому, если готового датасета нет, то остается вариант собрать его самому.

Оптимальным решением стал краудсорсинг. Так, в «Толоке» постоянно находятся более 10 тысяч исполнителей, которые готовы круглосуточно выполнять задания и сделают это в разы быстрее, чем единственный исполнитель.

К примеру, у компании есть задача обработать несколько сотен тысяч изображений. Фрилансеры потратят на выполнение такого задания несколько месяцев, а толокеры – несколько часов. Безусловно, придется потратить время на создание задания, критериев контроля качества и ханипотов (заданий-ловушек), но это все равно будет быстрее и дешевле, чем наем исполнителей.

Для обучения нейронных сетей важно, чтобы датасет был размечен правильно, без ошибок. Но иногда случалось, что толокер плохо понял задание, либо ленился и на все задания давал одинаковый ответ, либо допускал грамматические ошибки. Из-за этого могло пострадать качество собираемого датасета.

Проблемы удалось решить, когда описания стали проверяться другими толокерами. Независимо друг от друга пять человек раз в сутки оценивали каждый написанный отзыв по четырем критериям:

  1. отсутствие оскорбительных высказываний в адрес человека;
  2. грамотность;
  3. соответствие описания человеку на изображении, отражение в нем личных черт характера и внешности;
  4. креативность текста по пятибалльной шкале.

Благодаря проверке каждого отзыва, толокерам, которые пишут отзывы, присваивается рейтинг. Толокеры с низким рейтингом блокируются, а толокеры с высоким рейтингом поощряются бонусами, что мотивирует их писать еще лучше. Такой процесс приемки заданий позволяет собирать качественный и вариативный датасет.

Подробнее про составление датасета можно узнать из публикации Романа Куцева — https://rb.ru/opinion/chat-bot-dataset/

Краудсорсинг - применение Яндекс.ТолокаПубликация: https://rb.ru/opinion/chat-bot-dataset/

Preobra.ru — инструмент взаимодействия учительского сообщества и Минобрнауки России

Все учителя России дают обратную связь на инициативы министерства образования и науки. Фантастика? Реальность. Это «ПреОбразование» (https://preobra.ru)– площадка общественных консультаций, на которой зарегистрировано свыше 100 тыс. участников. Ресурс создан компанией WikiVote в 2011 году и является одним из старейших в России и даже в мире. Сейчас проект развивается в партнерстве с Московский городской университет МГПУ.

Мы приглашаем и вас присоединиться к проекту и помочь решить проблемы образования наших с вами детей!

Основное достижение проекта — создание инструмента взаимодействия учительского сообщества и Минобрнауки России, такого места, где учителя имеют все возможности быть услышанными. В качестве примера приведем один яркий момент из истории «ПреОбразования». Несколько лет назад в школьную программу вернулось сочинение как выпускной проект. То, как это произошло, решалось и на нашей платформе. Участники проекта предложили несколько сценариев возвращения сочинения в качестве выпускного испытания. Именно благодаря коллективному интеллекту из концепции удалось убрать то, что не устраивало российских учителей.

В 2018 году «ПреОбразование» успело провести консультации по предмету «Технология» — внесено более 1500 предложений и доработок по его преподаванию, которые будут внимательно изучены в министерстве и учтены при принятии новых методик. Сейчас на площадке обсуждаются инструменты оценки качества работы учителей. Участники предлагают способы, как сделать, чтобы учителям не приходилось заполнять множество форм отчетности, а сама система была бы современной, живой и работоспособной. За последнее время собрано более 100 предложений. Кроме того, проводится опрос по практике проектирования и достижения метапредметных результатов. Он стартовал в начале февраля и продлится до 1 марта. Там тоже отмечается высокая активность — 676 участников

«ПреОбразование» помогает чиновникам Минобрнауки перерабатывать свои программы, исходя из критики, полученной на площадке. Проект стал правильным инструментом диалога, который выгоден обеим сторонам – и отрасли, и законотворцам. Зарегистрируйтесь на площадке https://preobra.ru и внесите свой вклад в улучшение отечественного образования!

Краудсорсинг - preobra_ru Общественные консультацииМатериал подготовлен по публикации на официальной странице Wikivote! в Facebook: https://www.facebook.com/wikivote/posts/975088879309501

Трансляция форума Здрав.ФОМ — как это было

Транслируй это
Участники форума, работавшие 22 февраля 2018 года над его трансляцией, рассказывают, как это было.

Краудсорсинг - Антон Овчаров

Антон Овчаров

Антон Овчаров – один из героев форума «Удивительное в российском здравоохранении». Этот человек взял на себя нелегкий труд обеспечить бесперебойный поток сообщений для трансляции мероприятия.

В чем суть твоей работы на форуме?

Задача обеспечить трансляцию — это не просто задача создать какой-то поток информации, который потом можно использовать в качестве отчёта. То есть сделать так, чтобы человек, у которого нет возможности присутствовать на мероприятии, мог узнавать обо всём самом важном, что там происходит, находясь при этом в другом месте. И этого нельзя добиться, просто вывешивая   видео в интернете в прямом эфире, тем более, когда мероприятие подразумевает сразу несколько параллельных по времени событий. Организация онлайн-трансляцию — это в первую очередь история о том, как обеспечить присутствие в нескольких местах одновременно. Кстати, еще и потому, что трансляцией может пользоваться человек, который сам находится на мероприятии, но не может разорваться между несколькими событиями или площадками. (далее…)

Что выгоднее — ящик для сбора идей или краудсорсинговый сайт?

Что выгоднее — поставить ящик для сбора идей и предложений или запустить краудсорсинговый сайт?
Ящики сбора предложений исторически показали свою неэффективность по сравнению с открытой коллективной работой (коллективным интеллектом) по следующим причинам:

1) К ящикам нет доверия.

В схеме с ящиком сбора идей сбор осуществляется в закрытом режиме, что вызывает недоверие у авторов к принятым решениям, какие предложения самые лучшие.

При открытой коллективной работе все предложения собираются публично, при этом они еще и дорабатываются и оцениваются другими участниками, что автоматически легитимизирует список финальных предложений в глазах участников.

2) Ящики намного дороже.

В схеме с ящиком сбора идей каждая идея требует анализа экспертом и приоритизации относительно других идей. В идеале — каждая идея должна получить конструктивную обратную связь вне зависимости от того, была она выбрана для дальнейшей работы или нет. При этом экспертам, которые обрабатывают поток обращений, как правило работа не компенсируется, их заставляют принимать участие «на общественных началах».

Это приводит к тому, что себестоимость 100% обработки входящих идей и предложений крайне высока, ведь обращения идут в разном формате, много повторений, негатива и обращений вне рамок обсуждения. Время экспертов расходуется неоптимально, эксперты быстро «выгорают». Поэтому ящики сбора идей и предложений существуют в организациях только, пока за ними стоит руководитель-энтузиаст, их крайне сложно превратить в бизнес-процесс.

Если же работу экспертов по обработке обращений и даче обратной связи компенсировать в полном объеме, то это превысит себестоимость

Гораздо выгоднее и правильнее организовать участников, чтобы они конструктивно обсуждали, оценивали и приоритизироали идеи, а экспертам давать на экспертизу «выжимку» самого конструктивного и самого востребованного по мнению участников.

3) Ящики не формируют пространство диалога, это монолог в пустоту.

При открытой коллективной работе с обращениями возникает множество неявных эффектов, таких как формирование активного неравнодушного сообщества, состоящего из людей, которые готовы активно принимать участие в будущих работах по инновациям, а также в проектах по их внедрению. Формируется кадровый резерв, который несет в том числе информацию, чем интересуется и за что болеет человек на деле, а не на словах. Создается атмосфера открытости и конструктивного диалога, повышается коллективная культура и вовлеченность участников в жизнь Компании и др.

Все эти эффекты позволяют в будущем достичь значительного снижения стоимости коллективной работы, делая экономику подобных проектов на порядки более привлекательной, чем у ящика сбора идей и предложений, даже если единственная цель — собрать предложения для спуска пара и положить их «в стол».

Краудсорсинг - Wikivote!Материал подготовлен по публикации на официальной странице Wikivote! в Facebook: https://www.facebook.com/wikivote/

Федеральные краудсорсинговые платформы

В настоящее время увеличивается количество проводимых краудсорсинговых проектов по всей стране. Есть два варианта проведения подобного проекта — создать собственную платформу или воспользоваться уже имеющейся. Первый вариант — это достаточно долго и дорого, второй — позволяет провести проект буквально за две-три недели. Многие проекты нужно проводить через систему торгов, а для этого потребуется провести запрос цены — данная публикация поможет в этом, так как в ней представлены пять федеральных краудсорсинговых платформ.

CITYCELEBRITY

CITYCELEBRITY.RU – крупнейшая российская краудсорсинговая платформа. Более 70 городов, десятки тысяч участников, сотни тысяч творческих решений. Помощь людям проявлять таланты, агентствам делать акции более интересными и массовыми, а компаниям экономить время и деньги, быстро находя множество интересных решений. (далее…)

В редакционном цехе Здрав.ФОМ 113 авторов

В редакционном цехе нашего проекта сейчас 113 участников(прим. — на 06.02.2018г.). Каждый из авторов рассказывает свои истории, лучшие – публикуются в журнале. Мы поговорили с руководителем проектов Михаилом Володиным и попросили рассказать, кто и почему пишет для редцеха.

Михаил, количество участников редакционного цеха превысило 100 человек. Расскажите, пожалуйста, про редцех Здрав.ФОМ – кто эти люди?
Всего на проекте Здрав.ФОМ 2165 человек – это наше большое основное сообщество. Не все они являются

Краудсорсинг - Михаил Володин

Михаил Володин

участниками редакционного цеха. Сообщество создано для того, чтобы люди могли поделиться своими идеями, прокомментировать, высказать своё мнение, коротко изложить свою историю. В редакционном цехе это не основное. Основное – это достаточно объёмный содержательный материал. В первое время авторы не очень понимали, что мы от них хотим, перестраивались. Они не понимали разницу между сообществом и редакционным цехом. В сообществе они высказывали свое мнение и говорили кратко, а здесь надо написать что-то большое: эссе, репортаж, колонку. Написание текстов – это достаточно трудоемкая, непростая задача для многих. Поэтому лишь 113 человек из этих 2165 являются участниками редакционного цеха.

100 человек для редакционного цеха – это много или мало?
Если посчитать в простых цифрах, из 2000 100 человек – это пять процентов. Пять процентов – это не так много. Но с другой стороны, и цифра 2000 небольшая. Не все люди активные. Некоторые люди заходили к нам, подписались, стали участниками проекта. Но проект – это не как социальная сеть, куда мы заходим по несколько раз в день. (далее…)

Лица, люди, истории

Ведущий комьюнити-менеджер Сообщества Здрав.ФОМ Ася Свешникова(https://vk.com/asya_the_choohи модератор Сообщества Здрав.ФОМ Тахмина Сафарова(https://vk.com/id12960347) рассказывают о своей работе

Когда мы начинали работать над проектом, нам казалось, что ответы участников похожи, мы даже условно разделили их на три

Краудсорсинг - Ася Свешникова

Ася Свешникова

категории: многие были категорично настроены к здравоохранению, кто-то выступал со здравой критикой и лишь единицы ставили положительные оценки этой сфере. Но просто мнений нам было недостаточно – работа модератора такова, что нужно было выяснить, что стоит за той или иной точкой зрения, мы хотели узнать лучше самих людей. Выводы, которые мы сделали по итогам общения с участниками, оказались очень интересными.

Возрастной диапазон пользователей Сообщества примерно от 35 до 70 лет. Молодых гостей гораздо меньше, хотя их отношение к медицине не менее интересно. На вопросы модераторов охотнее отвечают женщины, нежели мужчины. Кстати, мужская часть Сообщества оказалась более категорична к вопросам здравоохранения, в то время как женская половина замечала позитивные изменения.

Самый большой интерес участников вызвала тема «Врачи вторичного звена: к чему приведет запись напрямую?», она набрала 42 мнения. Побило рекорд этой темы задание «Копилка ссылок на интересные публикации», которое доступно и сейчас, – 77 публикаций. С каждым днем коллекция материалов пополняется, и это значит, что наши участники разделяют наш интерес ко

Краудсорсинг - Тахмина Сафарова

Тахмина Сафарова

всему удивительному, что происходит в здравоохранении. Всего за время существования Сообщества мы обсудили 95 самых разнообразных тем, и это, мы уверены, только начало.

И еще про удивительное. Возможности Сообщества позволяют нашим участникам проявить себя не только как активный респондент, но и как журналист и автор статей в Редакционном цехе. Кто-то уже успешно попробовал обе роли, кто-то ограничился одной из двух, но то, что количество заинтересованных пользователей растет с каждым днем, позволяет нам думать, что мы на правильном пути. А если вы не согласны с этим, мы всегда ждем обратной связи на почту hello@crowdspace.ru или в личные сообщения нам, модераторам Сообщества.

И отдельно хочется сказать о личных впечатлениях. Несмотря на то, что ежедневная коммуникация с участниками – основная часть нашей работы, которая, казалось бы, должна быть четкой, взвешенной и нейтральной, от эмоций нам удержаться сложно. Читая истории людей о том, как они каждый день ведут борьбу с болезнью, или когда рассказывают, как победили рак, мы каждый раз удивляемся, сколько в них силы. И хоть они не игнорируют проблемы здравоохранения, все равно убеждены, что в России по-прежнему одни из лучших медицинских школ в мире. Это ведь тоже удивительно.

Мы сами узнаем много нового от наших участников: инновации, технологии, необычные медицинские кейсы, советы по здоровому образу жизни, борьба с депрессией, впечатления о поликлиниках и врачах. В каждом ответе много личного, у каждой истории есть свое лицо. Они очень разные: грустные, добрые, вдохновленные, переживающие, опытные. Но все эти мнения, лица, люди и истории – это и есть наше Сообщество Здрав.ФОМ.

Краудсорсинг - Сообщество Здрав.ФОМИсточник: https://zdrav.fom.ru/post/1702

Фото с сайта https://zdrav.fom.ru