Trong những điều kiện nào thì entropy của một biến ngẫu nhiên biến mất và điều này có ý nghĩa gì về biến đó?

/ / Xuất bản năm An ninh mạng, Các nguyên tắc cơ bản về mật mã lượng tử EITC/IS/QCF, Xáo trộn, Entropy cổ điển, ôn thi

Entropy của một biến ngẫu nhiên đề cập đến mức độ không chắc chắn hoặc tính ngẫu nhiên liên quan đến biến đó. Trong lĩnh vực an ninh mạng, đặc biệt là trong mật mã lượng tử, việc hiểu được các điều kiện mà entropy của một biến ngẫu nhiên biến mất là rất quan trọng. Kiến thức này giúp đánh giá tính bảo mật và độ tin cậy của hệ thống mật mã.

Entropy của một biến ngẫu nhiên X được định nghĩa là lượng thông tin trung bình, được đo bằng bit, cần thiết để mô tả kết quả của X. Nó định lượng độ không chắc chắn liên quan đến biến đó, với entropy cao hơn biểu thị tính ngẫu nhiên hoặc khó đoán hơn. Ngược lại, khi entropy thấp hoặc biến mất, điều đó hàm ý rằng biến đó đã trở nên xác định, nghĩa là kết quả của nó có thể được dự đoán một cách chắc chắn.

Trong bối cảnh entropy cổ điển, các điều kiện để entropy của một biến ngẫu nhiên triệt tiêu phụ thuộc vào phân bố xác suất của biến đó. Đối với biến ngẫu nhiên rời rạc X có hàm khối lượng xác suất P(X), entropy H(X) được tính theo công thức:

H(X) = – Σ P(x) log2 P(x)

trong đó tổng được lấy trên tất cả các giá trị x có thể có mà X có thể lấy. Khi entropy H(X) bằng 1, điều đó có nghĩa là không có sự bất định hoặc ngẫu nhiên nào liên quan đến X. Điều này xảy ra khi hàm khối xác suất P(X) gán xác suất bằng 0 cho một kết quả duy nhất và xác suất bằng XNUMX cho tất cả những kết quả khác. Nói cách khác, biến trở nên hoàn toàn xác định.

Để minh họa khái niệm này, hãy xem xét việc tung đồng xu công bằng. Biến ngẫu nhiên X đại diện cho kết quả của lần tung, với hai giá trị có thể có: mặt ngửa (H) hoặc mặt sấp (T). Trong trường hợp này, hàm khối lượng xác suất là P(H) = 0.5 và P(T) = 0.5. Tính entropy bằng công thức trên:

H(X) = – (0.5 * log2(0.5) + 0.5 * log2(0.5))
= – (0.5 * (-1) + 0.5 * (-1))
= – (-0.5 – 0.5)
= – (-1)
= 1 chút

Entropy của việc tung đồng xu là 1 bit, cho thấy có sự không chắc chắn hoặc ngẫu nhiên liên quan đến kết quả. Tuy nhiên, nếu đồng xu bị lệch và luôn rơi vào mặt ngửa thì hàm khối lượng xác suất sẽ trở thành P(H) = 1 và P(T) = 0. Phép tính entropy trở thành:

H(X) = – (1 * log2(1) + 0 * log2(0))
= – (1 * 0 + 0 * không xác định)
= – (0 + không xác định)
= không xác định

Trong trường hợp này, entropy không được xác định vì logarit của XNUMX không được xác định. Tuy nhiên, nó ngụ ý rằng biến X đã trở nên tất định, vì nó luôn mang lại kết quả chính xác.

Entropy của một biến ngẫu nhiên trong bối cảnh entropy cổ điển biến mất khi phân bố xác suất ấn định xác suất bằng 1 cho một kết quả duy nhất và xác suất bằng 0 cho tất cả các kết quả khác. Điều này chỉ ra rằng biến trở nên xác định và mất đi tính ngẫu nhiên hoặc không thể đoán trước.

Các câu hỏi và câu trả lời gần đây khác liên quan đến Entropy cổ điển:

Thêm câu hỏi và câu trả lời:

Gắn thẻ theo: , , , , ,