Отчёты

Имеет ли робот те же права на информацию, что и человек?

Публикуем видео-запись дата-среды «Сбор данных и методология парирования блокировки роботов» из цикла «Большие данные в экономике». Спикер Сергей Бершадский работал в качестве backend-разработчика и системного архитектора с такими проектами, как медицинский портал ЕМИАС.инфо, Play2Live, toptal и др. Выступление посвящено особенностям извлечения данных из сайтов, их очистке и структуризации. Сергей поделился собственным опытом веб-скрейпинга с использованием библиотек python scrapy, beautiful soup, asyncio. Сергей также разобрал методы break-the-wall на примере запросов в Yandex и Google. Это подходы, которые позволяют имитировать браузер и автоматически его использовать. Презентация опубликована по ссылке. Смотрите запись дата-среды: Организаторами дата-среды выступили АНО «Инфокультура», Ассоциация участников рынка данных и РАНХиГС. Всем тем,…

Интерактивный data mining: возможности Orange — продукта с открытым исходным кодом

3 апреля 2019 состоялась дата-среда из цикла «Большие данные в экономике», который совместно организуют АНО «Инфокультура», Ассоциация участников рынка данных и РАНХиГС. Об основах интерактивного data mining рассказал Дмитрий Стефановский, директор «Центра компетенций по цифровой прослеживаемости и консалтингу» РАНХиГС, кандидат технических наук, специалист в области прикладных исследований по цифровой трансформации. Data mining – интеллектуальный анализ данных, совокупность методов обнаружения в данных ранее неизвестных, нетривиальных и практически полезных знаний. Сегодня результаты анализа данных позволяют по-новому взглянуть на процессы, происходящие на предприятии. При этом на практике академический подход часто не может быть внедрен в бизнес-процессы, потому что организации не могут себе позволить,…

Государство и бизнес: участники рынка данных. Презентации и видео

2-3 марта АУРД участвовала в ежегодном международном событии «День открытых данных» (International Open Data Day). Это инициатива помогает продвигать концепцию информационной открытости и прозрачной деятельности органов государственной власти, бизнес-корпораций, некоммерческих организаций и других участников общественной жизни. В честь Дня открытых данных по всему миру проходят встречи, лекции и хакатоны. В этой публикации собраны презентации и видеозаписи выступлений спикеров направления «Государство и бизнес: участники рынка данных». Начало Дня открытых данных. Диалог на тему «Открытость государства». Спикеры: Алексей Кудрин, председатель Счетной Палаты Российской Федерации. Кирилл Варламов, директор ФРИИ. Видео: https://youtu.be/fjQhIbF5Yqo. Направление «Государство и бизнес: участники рынка данных» Видео-плейлист направления: https://www.youtube.com/watch?v=NdW3TD-8M4k&list=PLanHtAra76reIxDtFQ_g_n-Kue0HRmcmy. Дискуссия о…