Khoa học dữ liệu - Chuẩn bị dữ liệu

Trước khi phân tích dữ liệu, Nhà khoa học dữ liệu phải trích xuất dữ liệu và làm cho dữ liệu trở nên rõ ràng và có giá trị.

Trích xuất và đọc dữ liệu với Pandas

Trước khi dữ liệu có thể được phân tích, nó phải được nhập/trích xuất.

Trong ví dụ bên dưới, chúng tôi chỉ cho bạn cách nhập dữ liệu bằng Pandas trong Python.

Chúng tôi sử dụng hàm read_csv() để nhập tệp CSV có dữ liệu sức khỏe:

Ví dụ giải thích

• Nhập thư viện Pandas
• Đặt tên khung dữ liệu là health_data .
• header=0 có nghĩa là tiêu đề cho tên biến sẽ được tìm thấy ở hàng đầu tiên (lưu ý rằng 0 có nghĩa là hàng đầu tiên trong Python)
• sep="," có nghĩa là "," được sử dụng làm dấu phân cách giữa các giá trị. Điều này là do chúng tôi đang sử dụng loại tệp .csv (các giá trị được phân tách bằng dấu phẩy)

Mẹo: Nếu có tệp CSV lớn, bạn có thể sử dụng hàm head() để chỉ hiển thị 5 hàng trên cùng:

Làm sạch dữ liệu

Nhìn vào dữ liệu đã nhập. Như bạn có thể thấy, dữ liệu "bẩn" với các giá trị sai hoặc chưa được đăng ký:

• Có một số trường trống
• Không thể có xung trung bình 9 000
• 9 000 sẽ được coi là không phải số vì có dấu cách
• Một quan sát xung tối đa được ký hiệu là "AF", điều này không có ý nghĩa

Vì vậy, chúng ta phải làm sạch dữ liệu để thực hiện phân tích.

Xóa hàng trống

Chúng tôi thấy rằng các giá trị không phải là số (9 000 và AF) nằm trong cùng một hàng với các giá trị bị thiếu.

Giải pháp: Chúng tôi có thể xóa các hàng bị thiếu quan sát để khắc phục sự cố này.

Khi chúng tôi tải tập dữ liệu bằng Pandas, tất cả các ô trống sẽ tự động được chuyển đổi thành giá trị "NaN".

Vì vậy, việc loại bỏ các ô NaN mang lại cho chúng ta một tập dữ liệu sạch có thể phân tích được.

Chúng ta có thể sử dụng hàm dropna() để loại bỏ NaN. axis=0 có nghĩa là chúng tôi muốn xóa tất cả các hàng có giá trị NaN:

Kết quả là một tập dữ liệu không có hàng NaN:

Danh mục dữ liệu

Để phân tích dữ liệu, chúng ta cũng cần biết loại dữ liệu chúng ta đang xử lý.

Dữ liệu có thể được chia thành ba loại chính:

1. Số - Chứa các giá trị số. Có thể chia thành hai loại:
   • Rời rạc: Các số được tính là "toàn bộ". Ví dụ: Bạn không thể tập 2,5 buổi mà là 2 hoặc 3 buổi
   • Liên tục: Các số có thể có độ chính xác vô hạn. Ví dụ: bạn có thể ngủ trong 7 giờ, 30 phút và 20 giây hoặc 7,533 giờ
2. Phân loại - Chứa các giá trị không thể đo lường được với nhau. Ví dụ: Màu sắc hoặc loại hình đào tạo
3. Thứ tự - Chứa dữ liệu phân loại có thể được đo lường với nhau. Ví dụ: Điểm trường A tốt hơn B, v.v.

Khi biết loại dữ liệu của mình, bạn sẽ có thể biết nên sử dụng kỹ thuật nào khi phân tích chúng.

Loại dữ liệu

Chúng ta có thể sử dụng hàm info() để liệt kê các loại dữ liệu trong tập dữ liệu của mình:

Kết quả:

Chúng tôi thấy rằng tập dữ liệu này có hai loại dữ liệu khác nhau:

• Phao64
• Sự vật

Chúng ta không thể sử dụng các đối tượng để tính toán và thực hiện phân tích ở đây. Chúng ta phải chuyển đổi đối tượng kiểu thành float64 (float64 là một số có số thập phân trong Python).

Chúng ta có thể sử dụng hàm astype() để chuyển đổi dữ liệu thành float64.

Ví dụ sau chuyển đổi "Average_Pulse" và "Max_Pulse" thành kiểu dữ liệu float64 (các biến khác đã có kiểu dữ liệu float64):

Kết quả:

Bây giờ, tập dữ liệu chỉ có kiểu dữ liệu float64.

Phân tích dữ liệu

Khi đã làm sạch tập dữ liệu, chúng ta có thể bắt đầu phân tích dữ liệu.

Chúng ta có thể sử dụng hàm describe() trong Python để tóm tắt dữ liệu:

Kết quả:

• Đếm - Đếm số lượng quan sát
• Mean - Giá trị trung bình
• Std - Độ lệch chuẩn (được giải thích trong chương thống kê)
• Min - Giá trị thấp nhất
• 25% , 50% và 75% là phần trăm (được giải thích trong chương thống kê)
• Max - Giá trị cao nhất