Обработка данных с помощью Pandas

Обработка данных является одной из важнейших задач в data science и анализе данных, которая включает такие типовые операции, как:

Dealing with missing values (Работа с пропущенными значениями) — количественная оценка пропущенных значений для каждого столбца, заполнение и удаление пропущенных значений.
Reshaping data (Изменение формы данных) — единая кодировка данных, сводные таблицы, объединения, группировка и агрегирование.
Data Sorting (Сортировка данных): упорядочивание значений в порядке возрастания или убывания.
Data Filtration (Фильтрация данных): создание подмножества данных согласно тем или иным условиям.
Data deduplication (Дедупликация данных) — это технология поиска и устранения дубликатов в хранилищах данных. Применяется для снижения накладные расходов на хранение информации.
Data Reduction (Понижение размерности/Сокращение данных): Уменьшение объема данных, сокращение количества используемых признаков и разнообразия их значений. Применяется в случае, когда данные избыточны. Избыточность возникает тогда, когда задачу анализа можно решить с тем же уровнем эффективности и точности, но используя меньшую размерность данных. Это позволяет сократить время и вычислительные затраты на решение задачи, сделать данные и результаты их анализа более интерпретируемыми и понятными для пользователя.
Data Access (Доступ к данным): для чтения или записи файлов данных.
Data Handling/Data Processing (Обработка данных) или Data Transformation (преобразование данных): выполнение агрегации, статистических и подобных операций над конкретными значениями.
Другое: Создание описательных столбцов, поэлементные условные операции.