alsafr

Недавно на каггле завершилось соревнование по автоматической оценке школьных/студенческих сочинений. Задача состояла в том, чтобы по тексту сочинения предсказать его оценку. Кое-что про конкурс:

• Существует около десятка коммерческих продуктов, специализирующихся на задаче по автоматической оценке сочинений. Разработчики этих продуктов также участвовали в конкурсе (отдельно от обычных участников). У разработчиков была пара недель, чтобы настроить свои продукты под условия конкурса. Самый высокий результат получил продукт под названием PEG, разработка которого ведется уже более 40-ка лет. Прикол состоит в том, что результат лучшего продукта оказался ощутимо хуже, чем результат лучшей команды конкурса.
• Из результатов конкурса видно, что согласованность лучших алгоритмов с человеческой оценкой заметно выше, чем согласованность между собой 2х человеческих оценщиков. Лично мне это довольно тяжело осмыслить.
• Чтобы войти в первую десятку на финише, достаточно было реализовать модель на основе GBRT, а в качестве факторов взять полтора десятка тривиальных признаков вроде количества слов в сочинении, средней длины предложений т.п., плюс пару тысяч факторов, соответствующих конкретным словам текста сочинения (при этом слова не отбирались каким-то особым образом - достаточно было тупо взять все слова, встречающиеся хотя бы в десяти сочинениях). Такой подход дает результат, приблизительно соответствующий результату лучшего коммерческого продукта.

• Страница конкурса Automated Essay Scoring на kaggle.
• PEG хвалится первым местом среди вендоров.
• Анализ результатов коммерческих продуктов.
• Ветка форума kaggle со всякими графиками по результатам конкурса.

"I was surprised by the low correlation between (1) an individual model’s performance by itself and (2) the amount of performance improvement of an ensemble when the individual model is added to it. [...] I also had some nearly hopeless models that when added to an ensemble significantly improved the performance of the ensemble." - Pankaj Mishra, занявший 3-е место в конкурсе "What Do You Know?" (конкурс заключался в предсказании правильных ответов студентов на тесты).

"Ensembles didn't work at all." - Steffen Rendle, занявший 1-е место в этом же конкурсе.

Результаты конкурса Интернет-математика 2011 с Деанонимизацией, Кратким Описанием Алгоритмов и Ссылками на Статьи.
( Читать дальше... )

Думаю, что многие оценят по достоинству этот уникальный алгоритм.
Правда, немного жалко людей, отдающих деньги за этот буллшит.

Ребзя, давайте погоняемся! На мой взгляд, новая интернет математика - самая интересная.
P.S. Для того, чтобы участвовать в соревновании, вовсе не нужно 16 гигов оперативки или там какой-нибудь map-reduce. Все гораздо проще.

В последнее время ко мне обратилось сразу несколько человек с вопросами про парсер резюме.
Когда я в 2004 году только начинал делать Resumagic, никто в моем окружении не верил в то, что эта штука будет способна работать с приемлемой точностью и что она вообще будет представлять практический интерес. Поэтому первая версия парсера делалась по вечерам дома.
А сейчас я два раза подряд услышал что-то вроде этого "привет, мы собираемся сделать интеллектуальный парсер резюме". Наверное, просто созрел рынок.

"В бесполезности своей работы для людей больше остальных уверены работники сферы FMCG (52%), компаний B2B (45%), сотрудники многопрофильных холдингов (44%), маркетологи и рекламщики (43%)." Ведомости.

В МойКриге, оказывается, для ранжирования используется простой рейтинг Эло. Это, конечно, не самый худший вариант, но ведь очевидно же, что в каждом "бое" принимает участие три стороны, а не две. Можно придумать нормальную модель, которая бы учитывала также и рейтинг оценщика. Но мне лень.

Просматривая методики, которые лежат в основе всех "рейтингов" Пруффи, я сформулировал один признак, который выдает в человеке 100% гуманитария. Это склонность к использованию пороговых значений. "Если параметр X > 10, то значение Y будет 100, иначе Y принимаем равным 50". У них, оказывается, везде такое... Круто, да? Впрочем, "рейтинги" Пруффи целевую аудиторию вполне устраивают, так что все в порядке, напрягаться не стоит:)

Вчера меня пригласили выступить на семинаре проекта "Цивилизация" по поводу Rohonс codex.  Выкладываю слайды моего доклада.