Что делает пост «Наука о данных» популярным на Medium?

Этот блог изначально был опубликован на Medium Айсварией Рамачандран — выпускницей программы UpGrad по науке о данных с IIIT-Bangalore.

В одном из моих предыдущих постов на Medium я писал о том, как собирать результаты поиска по определенной строке запроса из Medium. В этом посте мы подробно рассмотрим анализ данных, удаленных для поискового запроса «Наука о данных», чтобы сгруппировать сообщения на основе количества хлопков и ответов по разным уровням популярности, а также понять, что делает эти сообщения популярными.

Данные, извлеченные из результатов поиска Medium, представляли собой файл JSON с подробными данными о каждом результате поиска. Чтобы изучить структуру файла JSON, я использовал Notepad++ с плагином JSON. Файл JSON содержал данные о сообщениях, авторе сообщения и издателе, связанном с этим сообщением (если таковые имеются). Вот структура данных JSON для поста среднего размера:

Код для извлечения данных из файла JSON можно найти здесь. Помимо извлечения данных из JSON-файла, я также добавил поле с датой удаления поста.

Исследовательский анализ постов, связанных с «наукой о данных»

При очистке результатов по поисковому запросу «Наука о данных» был удален 831 пост, из которых 31 был ответом на пост и был исключен из анализа. Вот количество постов, опубликованных за годы, данные были удалены с марта 2013 года по апрель 2018 года:

Все поля даты, такие как Дата создания, Дата первой публикации, Дата последнего обновления, в которых миллисекунды истекли с января 1970 года. Они были преобразованы в удобочитаемый формат даты с помощью функции ниже

 # Функция для преобразования даты EPOCH в удобочитаемый формат

 def convertToDateString (дата):
    return (datetime(1970, 1, 1) + timedelta(миллисекунды=дата)).strftime("%Y-%m-%d %H:%M:%S")

Следующим шагом было посмотреть, какие слова чаще всего встречаются в заголовках этих постов. Как вы можете видеть из приведенного ниже слова «облако», Data Science, Big Data, AI, Analytics, Machine Learning, Python, self-driven (о беспилотных автомобилях) — одни из наиболее часто встречающихся слов.

Распределение количества хлопков и количества ответов сильно перекошено. 708 постов имеют менее 500 лайков. Это показывает, что мало постов становятся популярными. Вот распределение хлопков:

Время чтения (мин) большинства статей составляет от 1 до 3 минут.

На Medium у каждого поста может быть максимум 5 тегов. Теги помогают читателям легче находить контент. Чем больше релевантных тегов, тем легче их найти. Как мы видим на изображении, Data Science является наиболее часто используемым тегом, за которым следуют машинное обучение, большие данные, искусственный интеллект. Вот 10 лучших тегов, связанных с наукой о данных:

Создание кластеров на основе ответов пользователей

Есть три показателя, чтобы измерить, насколько популярен пост на Medium, а именно. #Аплодисменты, #Ответы и #Рекомендации. Чтобы сделать справедливое сравнение, я также включил функцию #Days между первой публикацией и датой сбора данных. В этом наборе функций я применил кластеризацию k-средних и определил три кластера. Как видно из изображения ниже, существует огромная разница между тремя показателями по кластерам (группам популярности). Кроме того, мы можем видеть, что для менее популярных постов, хотя их медиана дней между публикацией и удалением является самой высокой, их вовлеченность очень низка. Вот метрики по кластерам (группам популярности):

Как видно из изображения ниже, для более популярных статей медиана для статей с высокой и средней популярностью составляет 9 и 7. Они также имеют больше ссылок по сравнению с менее популярными статьями. Это означает, что популярные посты ссылаются на другие посты и другие источники информации, повышающие ценность контента. Разница между популярными и непопулярными сообщениями

На изображении выше также видно, что пост со средней популярностью ближе к группе с высокой популярностью, чем к группе с меньшей популярностью.

С помощью простого k-среднего мы смогли определить популярные и непопулярные посты на Medium, связанные с наукой о данных.

Изучите курсы по науке о данных в лучших университетах мира. Участвуйте в программах Executive PG, Advanced Certificate Programs или Master Programs, чтобы ускорить свою карьеру.