Phân tích dữ liệu(Outlier)

Giá trị ngoại lai (Outlier)

Trả lời nhanh

Giá trị ngoại lai (outlier) là giá trị nằm cách xa hẳn phần lớn các giá trị còn lại trong tập dữ liệu, lớn hoặc nhỏ bất thường. Ví dụ trong 12, 14, 15, 15, 16, 48 thì 48 là outlier. Outlier kéo mean, range và độ lệch chuẩn thay đổi mạnh nhưng gần như không làm median thay đổi.

Giá trị ngoại lai (Outlier)

Outlier (giá trị ngoại lai, điểm ngoại lai) là quan sát nằm cách xa bất thường so với các giá trị khác trong tập dữ liệu. Quy tắc phổ biến để xác định: một giá trị là outlier nếu nhỏ hơn Q1 − 1.5 × IQR hoặc lớn hơn Q3 + 1.5 × IQR, với IQR = Q3 − Q1 là khoảng tứ phân vị. Chỗ hay nhầm: giá trị lớn nhất không tự động là outlier, nó phải tách xa hẳn phần còn lại. Outlier cũng không nhất thiết là dữ liệu sai; trong thống kê, người ta tìm hiểu vì sao nó xuất hiện trước khi quyết định có loại bỏ hay không.

Trong Digital SAT

Outlier thuộc miền Problem-Solving and Data Analysis của phần Math, chiếm khoảng 15% số câu (5 đến 7 câu) theo College Board. Bản mô tả kỹ năng chính thức ghi rõ yêu cầu hiểu và mô tả ảnh hưởng của outlier lên mean và median, trong nhóm One-variable data: distributions and measures of center and spread. Dạng hay gặp: bỏ hoặc thêm một giá trị rồi hỏi mean, median, range hay độ lệch chuẩn thay đổi thế nào; nhận ra outlier trên dot plot, box plot hoặc scatterplot; và chọn mean hay median để mô tả giá trị điển hình của dữ liệu có outlier. Bảng tham khảo không có công thức thống kê; khi cần con số, Desmos tính nhanh bằng mean([...]) và median([...]).

Ví dụ

Question: The list gives the number of books each of 9 students read last year. 12, 15, 16, 18, 20, 21, 23, 25, 160 One student's value was recorded incorrectly as 160 instead of 16. When this error is corrected, by how much does the mean number of books decrease?

Lời giải:

  1. Sửa 160 thành 16 làm tổng giảm 160 − 16 = 144, còn số giá trị vẫn là 9.
  2. Vậy mean giảm 144 ÷ 9 = 16. Kiểm tra bằng cách khác: tổng ban đầu = 310, mean = 310 ÷ 9 ≈ 34.4; tổng sau khi sửa = 166, mean = 166 ÷ 9 ≈ 18.4. Chênh lệch đúng bằng 144 ÷ 9 = 16. So sánh với median: trước khi sửa, median là giá trị thứ 5, bằng 20; sau khi sửa, dãy là 12, 15, 16, 16, 18, 20, 21, 23, 25 nên median là 18. Outlier làm mean lệch 16 đơn vị, còn median chỉ lệch 2.

Đáp án: 16 Bẫy hay gặp: ghi 144 (mức giảm của tổng, chưa chia cho 9), hoặc chia cho 8 thành 18 vì tưởng giá trị bị bỏ hẳn thay vì được sửa.

Lỗi thường gặp

  1. 1

    Nghĩ bỏ outlier thì median chắc chắn giữ nguyên: số phần tử thay đổi nên median vẫn có thể dịch một chút.

  2. 2

    Cho rằng outlier làm mean và median thay đổi như nhau, trong khi mean bị kéo mạnh hơn nhiều.

  3. 3

    Gọi giá trị lớn nhất là outlier chỉ vì nó lớn nhất, dù nó không tách xa phần còn lại.

  4. 4

    Quên rằng outlier cũng làm range và độ lệch chuẩn tăng; bỏ outlier thì cả hai giảm.

  5. 5

    Nhầm chiều: một outlier rất nhỏ kéo mean xuống thấp hơn median, không phải kéo lên.

Mẹo

Gặp câu “bỏ outlier thì sao”, đừng vội tính lại từ đầu: mean dịch mạnh về phía ngược với outlier, range và độ lệch chuẩn giảm, median đổi rất ít. Khi các lựa chọn khác nhau ở con số cụ thể, nhập danh sách vào Desmos với mean([...]) và median([...]) để kiểm tra.

Thuật ngữ liên quan

Ảnh Hưởng của Giá Trị Ngoại Lai (Outliers)Học trong bài hướng dẫnCông cụ miễn phíLịch ôn thi SATKế hoạch theo từng tuần từ hôm nay đến ngày thi.

Câu hỏi thường gặp

Outlier trong thống kê là gì?

Trong thống kê, outlier là một quan sát nằm cách xa bất thường so với các giá trị khác trong cùng tập dữ liệu. Nó có thể là lỗi đo hoặc lỗi nhập liệu, nhưng cũng có thể là một trường hợp thật và đáng chú ý. Tiếng Việt gọi là giá trị ngoại lai hoặc điểm ngoại lai.

Cách xác định giá trị ngoại lai thế nào?

Cách phổ biến dùng khoảng tứ phân vị: tính Q1, Q3 và IQR = Q3 − Q1, rồi coi các giá trị nhỏ hơn Q1 − 1.5 × IQR hoặc lớn hơn Q3 + 1.5 × IQR là outlier. Ví dụ Q1 = 14 và Q3 = 16 thì IQR = 2, nên mọi giá trị lớn hơn 19 hoặc nhỏ hơn 11 là outlier. Trên biểu đồ, outlier là điểm nằm tách hẳn khỏi cụm dữ liệu.

Outlier ảnh hưởng đến mean và median thế nào?

Outlier kéo mean về phía nó: outlier lớn làm mean tăng, outlier nhỏ làm mean giảm. Median gần như không đổi vì nó chỉ phụ thuộc vào các giá trị ở giữa. Vì vậy với dữ liệu có outlier, median thường mô tả giá trị điển hình tốt hơn mean.

Có nên loại bỏ giá trị ngoại lai không?

Không nên loại bỏ chỉ vì nó khác biệt. Trong thống kê, bạn cần tìm hiểu vì sao outlier xuất hiện: nếu đó là lỗi đo hoặc nhập sai thì có thể sửa hoặc loại, còn nếu là dữ liệu thật thì nó có thể chứa thông tin quan trọng.

Outlier có làm thay đổi độ lệch chuẩn không?

Có, và thường rất mạnh. Độ lệch chuẩn đo mức các giá trị tản ra quanh mean, nên một giá trị nằm xa hẳn làm độ lệch chuẩn tăng; bỏ outlier thì độ lệch chuẩn giảm. Range cũng vậy, vì outlier thường chính là giá trị lớn nhất hoặc nhỏ nhất.

Bắt đầu hành trình
luyện SAT với AI

Lumist Mascot
Lumist AI App