Độ nhạy cho biết trong số người thật sự có bệnh, công cụ phát hiện được bao nhiêu phần trăm; độ đặc hiệu cho biết trong số người không có bệnh, công cụ trả lời đúng là không có bao nhiêu phần trăm. Hai con số này mô tả công cụ, nhưng chưa trả lời câu mà phòng khám thật sự cần: khi máy báo bất thường cho một người bệnh của mình, khả năng người đó có bệnh là bao nhiêu. Câu đó phụ thuộc thêm vào tỷ lệ bệnh trong nhóm người bệnh của chính phòng khám.
Bài này giải thích các con số hiệu năng mà nhà cung cấp hay đưa ra, có phép tính ví dụ giả định để bạn tự làm lại với số của mình, và chỉ ra những chỗ con số trong tài liệu bán hàng thường không nói hết. Cuối bài là cách tự đo lại trên ca của phòng khám mà không cần phần mềm thống kê.
Bốn ô của bảng hai chiều
Mọi con số hiệu năng đều bắt nguồn từ một bảng bốn ô, so kết quả của công cụ với một chuẩn tham chiếu, tức cách xác định bệnh được chấp nhận là đúng nhất cho mục đích đó, ví dụ hội chẩn của nhiều bác sĩ hoặc kết quả xét nghiệm khẳng định.
| Thật sự có bệnh | Thật sự không có bệnh | |
|---|---|---|
| Máy báo bất thường | Dương tính thật | Dương tính giả |
| Máy báo bình thường | Âm tính giả | Âm tính thật |
Độ nhạy là số dương tính thật chia cho tổng cột "thật sự có bệnh". Độ đặc hiệu là số âm tính thật chia cho tổng cột "thật sự không có bệnh". Giá trị dự đoán dương là số dương tính thật chia cho tổng hàng "máy báo bất thường". Giá trị dự đoán âm là số âm tính thật chia cho tổng hàng "máy báo bình thường".
Lưu ý rằng mọi thứ phụ thuộc vào chuẩn tham chiếu. Nếu chuẩn tham chiếu chỉ là ý kiến của một người đọc, con số hiệu năng chỉ nói máy giống người đó tới đâu, không hẳn là máy đúng tới đâu. Đây là câu đầu tiên nên hỏi khi đọc một báo cáo hiệu năng.
Phép tính ví dụ giả định: cùng công cụ, hai phòng khám, hai kết quả
Giả sử một công cụ có độ nhạy 90% và độ đặc hiệu 90%. Nghe rất tốt. Hãy xem nó chạy thế nào ở hai nơi có tỷ lệ bệnh khác nhau, mỗi nơi 1.000 người được chụp. Đây là số giả định để minh hoạ, không phải số của sản phẩm nào.
- Phòng khám A, chủ yếu khám sức khoẻ cho người khoẻ, tỷ lệ có tình trạng cần phát hiện là 2%: có 20 người bệnh và 980 người không bệnh.
- Ở phòng khám A, máy phát hiện 18 trong 20 người bệnh (độ nhạy 90%), bỏ sót 2. Trong 980 người không bệnh, máy báo đúng 882 người là bình thường và báo nhầm 98 người là bất thường.
- Tổng số người bị máy gắn cờ ở phòng khám A là 18 cộng 98, tức 116 người. Chỉ 18 trong số đó thật sự có bệnh: giá trị dự đoán dương khoảng 16%. Nói cách khác, cứ khoảng sáu người bị gắn cờ thì năm người là báo nhầm.
- Phòng khám B, nhận người đã có triệu chứng do nơi khác chuyển tới, tỷ lệ bệnh 20%: có 200 người bệnh và 800 người không bệnh.
- Ở phòng khám B, máy phát hiện 180 người bệnh, bỏ sót 20; báo nhầm 80 người trong số 800 người không bệnh. Tổng số bị gắn cờ là 260, trong đó 180 thật sự có bệnh: giá trị dự đoán dương khoảng 69%.
- Cùng một công cụ, cùng độ nhạy và độ đặc hiệu, nhưng ý nghĩa của một lần gắn cờ khác hẳn nhau giữa hai nơi.
Bài học thực tế: ở nơi tỷ lệ bệnh thấp như khám sức khoẻ, phần lớn cảnh báo sẽ là báo nhầm, và quy trình phải tính tới khối lượng việc xử lý những cảnh báo đó. Ngược lại, ở nhóm tỷ lệ bệnh thấp, khi máy báo bình thường thì khả năng thật sự bình thường rất cao, nhưng vẫn không bằng không, như hai người bị bỏ sót ở phòng khám A.
AUC, đường cong ROC và ngưỡng vận hành
Tài liệu kỹ thuật hay ghi một con số AUC, diện tích dưới đường cong ROC, ví dụ 0,95. Đường cong ROC vẽ độ nhạy và tỷ lệ dương tính giả tại mọi ngưỡng có thể của công cụ. AUC tóm gọn khả năng phân biệt chung: càng gần 1 thì công cụ càng tách tốt nhóm có bệnh và không có bệnh, 0,5 thì không hơn đoán ngẫu nhiên.
Vấn đề là phòng khám không dùng công cụ "ở mọi ngưỡng". Khi chạy thật, phần mềm dùng một ngưỡng cố định, và tại ngưỡng đó mới có một cặp độ nhạy và độ đặc hiệu cụ thể. Một công cụ có AUC cao vẫn có thể được đặt ngưỡng ưu tiên độ nhạy rất cao, đổi lại báo nhầm nhiều, hoặc ngược lại.
Vì vậy, khi nhà cung cấp đưa ra AUC, hãy hỏi tiếp: ngưỡng mặc định là bao nhiêu, tại ngưỡng đó độ nhạy và độ đặc hiệu là bao nhiêu, phòng khám có được chỉnh ngưỡng không, và nếu chỉnh thì ai chịu trách nhiệm về hậu quả. Ngưỡng nên được chọn theo mục đích dùng của phòng khám, ví dụ làm lưới an toàn thì ưu tiên ít bỏ sót, chứ không theo con số đẹp trên tài liệu.
Con số trong tài liệu bán hàng được đo trên ai
Cùng một công cụ có thể có hiệu năng rất khác nhau tuỳ cách đo. Khi đọc báo cáo hay tài liệu, tìm câu trả lời cho các điểm sau; thiếu câu trả lời cũng là thông tin.
- Dữ liệu hồi cứu hay tiến cứu. Đo lại trên ảnh cũ đã có kết luận thường cho số đẹp hơn so với chạy thật trên người bệnh mới đến khám.
- Bộ dữ liệu có bị "làm giàu" không. Để đo cho nhanh, nhiều nghiên cứu chọn tỷ lệ ca bệnh cao hơn nhiều so với thực tế. Độ nhạy và độ đặc hiệu vẫn dùng được, nhưng giá trị dự đoán dương trong báo cáo không áp dụng cho phòng khám của bạn.
- Có loại trừ ảnh kém chất lượng không. Nếu ảnh mờ, xoay, nhiễu đã bị loại khỏi bộ kiểm định, con số chỉ đúng cho ảnh đẹp.
- Đo ở đâu. Bệnh viện lớn, máy chụp đời mới, người bệnh nước khác có thể rất khác phòng khám nhỏ ở Việt Nam.
- So với ai. "Ngang bác sĩ" là bác sĩ nào, bao nhiêu năm kinh nghiệm, đọc trong điều kiện nào.
- Bao nhiêu ca bệnh trong mẫu. Độ nhạy 95% đo trên 20 ca bệnh có khoảng dao động rất rộng.
- Có báo cáo theo nhóm không. Hiệu năng chung có thể che giấu hiệu năng kém ở trẻ em, người lớn tuổi hay một loại máy chụp.
Không cần trở thành nhà thống kê để hỏi những câu này. Chỉ cần hỏi đủ, ghi lại câu trả lời, và so các nhà cung cấp trên cùng một danh sách.
Hiểu lầm thường gặp khi đọc con số hiệu năng
Những hiểu lầm dưới đây xuất hiện thường xuyên trong các buổi giới thiệu sản phẩm, đôi khi từ chính người bán. Đặt chúng cạnh nhau giúp bạn nhận ra nhanh khi nghe.
| Câu nghe được | Thực tế nên hiểu |
|---|---|
| Độ chính xác 98% | Có thể cao chỉ vì đa số người được chụp không bệnh; hỏi riêng độ nhạy và độ đặc hiệu |
| Ngang bác sĩ chuyên khoa | Hỏi bác sĩ nào, đọc trong điều kiện nào, trên bộ ảnh nào, và có khoảng tin cậy không |
| AUC 0,97 | Khả năng phân biệt chung, chưa phải hiệu năng tại ngưỡng phòng khám sẽ dùng |
| Đã kiểm định trên một trăm nghìn ảnh | Số ảnh lớn chưa nói được có bao nhiêu ca bệnh, từ đâu, chất lượng ra sao |
| Không bỏ sót ca nào trong thử nghiệm | Có thể vì số ca bệnh ít; xem số ca và khoảng tin cậy |
| Hiệu năng giống nhau ở mọi nơi | Hiệu năng thường giảm khi máy chụp, nhóm người bệnh hay quy trình khác nơi kiểm định |
Mục đích không phải bắt bẻ người bán, mà để cuộc trao đổi chuyển từ con số quảng cáo sang con số dùng được cho quyết định của phòng khám.
Khoảng tin cậy và cỡ mẫu: vì sao 95% có thể không phải 95%
Mọi con số hiệu năng đều là ước lượng từ một mẫu. Nếu một công cụ phát hiện 19 trên 20 ca bệnh, độ nhạy đo được là 95%, nhưng với chỉ 20 ca, độ nhạy thật có thể thấp hơn đáng kể mà mẫu nhỏ đó không cho thấy. Báo cáo nghiêm túc sẽ ghi kèm khoảng tin cậy, ví dụ từ khoảng bảy mươi mấy tới gần một trăm phần trăm; khoảng càng rộng thì con số càng kém chắc.
Khi tài liệu chỉ ghi một con số tròn không có khoảng tin cậy và không nói đo trên bao nhiêu ca, hãy xin thêm thông tin. Với các tình trạng hiếm, muốn đo độ nhạy cho chắc cần rất nhiều ca bệnh, nên nhiều sản phẩm có độ đặc hiệu được đo kỹ hơn độ nhạy, đơn giản vì ca không bệnh nhiều hơn.
Điều này cũng áp dụng cho chính phòng khám. Nếu bạn chạy thử một tháng và thấy máy không bỏ sót ca nào, rất có thể chỉ vì tháng đó có ít ca bệnh. Đừng vội kết luận từ vài chục ca; hãy coi số liệu tự đo là để phát hiện vấn đề rõ ràng, không phải để chứng minh công cụ hoàn hảo.
Tự đo lại trên ca của phòng khám mà không cần phần mềm thống kê
Không phòng khám nhỏ nào làm được nghiên cứu kiểm định đầy đủ, nhưng ai cũng làm được một bảng theo dõi đơn giản trong thời gian chạy thử. Cách làm:
- Chọn một khoảng thời gian chạy song song, bác sĩ vẫn đọc và kết luận như cũ, kết quả máy chỉ được ghi lại.
- Mở một bảng tính có các cột: mã ca đã ẩn tên, ngày, máy báo gì, bác sĩ kết luận gì, kết quả theo dõi sau đó nếu có.
- Mỗi tuần, đếm bốn ô của bảng hai chiều, lấy kết luận cuối của bác sĩ, có kết quả theo dõi thì càng tốt, làm chuẩn tham chiếu tạm thời.
- Tính tỷ lệ gắn cờ, số ca máy báo mà bác sĩ không đồng ý, và quan trọng nhất là số ca bác sĩ thấy bất thường mà máy không báo.
- Đọc kỹ từng ca bất đồng thay vì chỉ nhìn tỷ lệ. Một ca bỏ sót có ý nghĩa lâm sàng quan trọng hơn mười ca báo nhầm.
- Cuối giai đoạn, so số liệu với con số trong tài liệu. Chênh lệch lớn là lý do để hỏi nhà cung cấp hoặc dừng.
Nhớ rằng chuẩn tham chiếu ở đây là kết luận của bác sĩ phòng khám, nên bảng này đo mức đồng thuận giữa máy và bác sĩ, không đo chính xác tuyệt đối. Nó vẫn đủ để phát hiện công cụ không hợp với người bệnh hoặc thiết bị của bạn.
Câu hỏi thường gặp
Độ nhạy cao hay độ đặc hiệu cao thì quan trọng hơn?
Tuỳ mục đích dùng. Nếu công cụ làm lưới an toàn để không bỏ sót, độ nhạy quan trọng hơn và phòng khám chấp nhận nhiều báo nhầm. Nếu cảnh báo kéo theo nhiều việc tốn kém cho người bệnh, độ đặc hiệu cần cao. Điều quan trọng là chọn có chủ đích.
Vì sao nhà cung cấp nói độ chính xác 98% mà phòng khám thấy máy báo nhầm nhiều?
Độ chính xác chung có thể cao chỉ vì đa số người được chụp không có bệnh. Khi tỷ lệ bệnh thấp, phần lớn cảnh báo vẫn có thể là báo nhầm. Hãy hỏi riêng độ nhạy, độ đặc hiệu tại ngưỡng đang dùng và tự tính giá trị dự đoán dương với tỷ lệ bệnh của phòng khám.
Giá trị dự đoán dương là gì và tính thế nào?
Là tỷ lệ người thật sự có bệnh trong số những người bị máy báo bất thường. Lấy số dương tính thật chia cho tổng số ca bị gắn cờ. Con số này thay đổi theo tỷ lệ bệnh trong nhóm người bệnh, nên phải tính lại cho từng phòng khám.
AUC 0,95 có nghĩa là công cụ đúng 95% không?
Không. AUC mô tả khả năng phân biệt chung ở mọi ngưỡng, không phải tỷ lệ trả lời đúng. Khi dùng thật, công cụ chạy ở một ngưỡng cố định với một cặp độ nhạy và độ đặc hiệu cụ thể. Hãy hỏi hai con số đó.
Chạy thử bao lâu thì đủ để đánh giá?
Không có con số cố định; quan trọng là có đủ ca bệnh thuộc đúng loại. Với tình trạng ít gặp, vài tuần có thể chỉ có vài ca. Nên chạy đủ lâu để gặp nhiều tình huống, và đọc kỹ từng ca bất đồng thay vì chỉ nhìn tỷ lệ.
Chuẩn tham chiếu là gì, vì sao quan trọng?
Là cách xác định bệnh được coi là đúng để so với máy, như hội chẩn nhiều bác sĩ hoặc xét nghiệm khẳng định. Nếu chuẩn tham chiếu yếu, chỉ là ý kiến một người, con số hiệu năng chỉ nói máy giống người đó, không nói máy đúng tới đâu.