Advanced Data Visualization – 001 | Lesson 01 — Visualization Foundations, Data Types and Exploratory Analysis

AI-GENERATED COURSE CONTENT — PUBLISHED AS IS. This new lesson is AI-generated, based on questions and topic collections from Open Education, including source articles attributed to Sayed Ahmed where indicated. The new AI-generated prose, original synthetic-data plots and original code are offered for reuse without copyright restrictions asserted by this site. Third-party references have separate rights. AI can make mistakes; independently check code, statistics, and interpretations.

Course: Advanced Data Visualization – 001 — course syllabus. Original source posts: Post 78189 · Post 16059 · Post 76547 · Post 19909.

Learning focus. A visualization is a mapping from data to visual marks (points, lines, bars) and visual channels (position, length, area, hue, shape). Before choosing a chart, identify your analytical question, observational unit, data types, and whether values are observed, estimated or missing.

Original illustrative visualization: Visualization Foundations, Data Types and Exploratory Analysis.
Original course-created illustrative plot using synthetic observations. Follow the code below to create your own figure.

Theory and algorithmic reasoning

Nominal data have categories without order; ordinal categories have meaningful order; quantitative values are interval or ratio measurements. Exploratory data analysis (EDA) includes data dictionaries, univariate distribution checks, comparisons between variables, and bias/quality checks before modeling.

The original site project distinguishes initial analysis (types, missing values, outliers, imbalance) from exploratory analysis (relationships, subgroups, clustering, trends). Both are iterative, not rigidly separate stages.

Mathematical ideas

Sample mean x̄=(Σxᵢ)/n and sample variance s²=Σ(xᵢ−x̄)²/(n−1). Compute these after deciding how missing values are treated.

Python: Reproducible plot

import pandas as pd
import matplotlib.pyplot as plt
df = pd.DataFrame({"region":["A","A","B","B","C","C"],
 "value":[12,14,18,21,24,29]})
print(df.groupby("region")["value"].agg(["count","mean"]))
fig, ax = plt.subplots(figsize=(7,4))
ax.hist(df["value"], bins=[10,15,20,25,30], edgecolor="white")
ax.set(xlabel="Value", ylabel="Frequency", title="Synthetic EDA")
plt.tight_layout(); plt.show()

R: Reproducible plot with ggplot2

library(ggplot2)
df <- data.frame(region=rep(c("A","B","C"), each=2),
                 value=c(12,14,18,21,24,29))
print(aggregate(value ~ region, df, mean))
ggplot(df, aes(value)) +
  geom_histogram(breaks=seq(10,30,by=5), color="white") +
  labs(x="Value", y="Frequency", title="Synthetic EDA") +
  theme_minimal()

Expected output and interpretation

Expected group means: A=13, B=19.5, C=26.5. The histogram displays six synthetic observations; do not infer a population distribution from such a small sample.

Questions and answers

Q1. What distinguishes EDA from confirmatory analysis?

Answer. EDA discovers patterns and generates hypotheses; confirmatory analysis tests prespecified claims with appropriate statistical controls.

Q2. What should an axis show?

Answer. A meaningful unit, scale and label, with a baseline appropriate to the chart type.

Q3. How do we handle missing values?

Answer. Report missingness, distinguish missing from zero and apply a justified exclusion or imputation policy.

Assessment and practical exercise

Make a data dictionary for a seven-column classroom dataset; identify which fields are nominal, ordinal or quantitative; visualize one variable and explain missingness.

Translated to Bengali / বাংলায় অনুবাদ

বাংলা অনুবাদ: এই পাঠের ব্যাখ্যামূলক লেখা ও প্রশ্নোত্তরের সহজ, যথাযথ বাংলা অনুবাদ নিচে দেওয়া হলো। Python ও R কোড অপরিবর্তিত রয়েছে; উপরের কোড চালিয়ে চার্ট তৈরি করুন।

শেখার বিষয়: ডেটা ভিজুয়ালাইজেশন হলো উপাত্তকে বিন্দু, রেখা বা দণ্ডের মাধ্যমে প্রকাশ করা। চার্ট বেছে নেওয়ার আগে বিশ্লেষণের প্রশ্ন, প্রতিটি রেকর্ড কী বোঝায়, উপাত্তের ধরন এবং অনুপস্থিত মান নির্ধারণ করতে হবে।

নামসূচক উপাত্তে ক্রম থাকে না; ক্রমসূচক উপাত্তে ক্রম থাকে। পরিমাণগত উপাত্ত সংখ্যায় মাপা হয়। EDA-তে ডেটা ডিকশনারি তৈরি, একক চলকের বণ্টন দেখা, চলকগুলোর সম্পর্ক পরীক্ষা এবং মানের সমস্যা শনাক্ত করা হয়।

সাইটের মূল লেখায় প্রাথমিক বিশ্লেষণে উপাত্তের ধরন, ফাঁকা মান, ব্যতিক্রমী মান ও শ্রেণির ভারসাম্য দেখা হয়েছে। অনুসন্ধানী বিশ্লেষণে সম্পর্ক, উপগোষ্ঠী, ক্লাস্টার ও প্রবণতা পরীক্ষা করা হয়। বাস্তবে কাজ দুটি পরস্পরসম্পর্কিত।

গাণিতিক ধারণা: নমুনা গড় x̄=(Σxᵢ)/n এবং নমুনা ভ্যারিয়েন্স s²=Σ(xᵢ−x̄)²/(n−1)। অনুপস্থিত মান কীভাবে ব্যবস্থাপনা করা হয়েছে, তা আগে স্পষ্ট করতে হবে।

প্রত্যাশিত ফল: প্রত্যাশিত গড়: A=১৩, B=১৯.৫, C=২৬.৫। হিস্টোগ্রামে ছয়টি কৃত্রিম পর্যবেক্ষণ দেখানো হয়েছে; এত ছোট নমুনা থেকে সম্পূর্ণ জনসংখ্যার বণ্টন সম্পর্কে সিদ্ধান্ত নেওয়া উচিত নয়।

প্রশ্ন 1. EDA ও নিশ্চিতকরণমূলক বিশ্লেষণের পার্থক্য কী?

উত্তর: EDA নতুন সম্পর্ক খোঁজে; নিশ্চিতকরণমূলক বিশ্লেষণ পূর্বনির্ধারিত দাবিকে উপযুক্ত পরিসংখ্যান দিয়ে পরীক্ষা করে।

প্রশ্ন 2. অক্ষের লেবেলে কী থাকা দরকার?

উত্তর: একক, পরিমাপের স্কেল ও পরিষ্কার নাম; চার্টের ধরনের উপযোগী ভিত্তিরেখা।

প্রশ্ন 3. অনুপস্থিত মান কীভাবে সামলাব?

উত্তর: অনুপস্থিতির পরিমাণ জানাতে হবে; শূন্য ও অনুপস্থিত এক নয়। যুক্তিসংগত বাদ দেওয়া বা পূরণের নীতি ব্যবহার করতে হবে।

বাংলা অনুশীলন

সাতটি কলামের একটি শ্রেণিকক্ষ উপাত্তসেটের ডেটা ডিকশনারি তৈরি করুন; চলকের ধরন নির্ধারণ করুন; একটি চলকের চার্ট ও অনুপস্থিতির ব্যাখ্যা দিন।

উৎস ও ব্যবহার: মূল লেখাগুলোর লিংক উপরে দেওয়া আছে। নতুন এআই-তৈরি ব্যাখ্যা ও নিজস্ব নমুনা-চিত্র পুনর্ব্যবহারযোগ্য; বাহ্যিক উৎসের স্বত্ব আলাদা। এআই ভুল করতে পারে, তাই ফল যাচাই করুন।


Discover more from Open Education

Subscribe to get the latest posts sent to your email.

Leave a Reply

Discover more from Open Education

Subscribe now to keep reading and get access to the full archive.

Continue reading