Đánh giá công cụ AI chẩn đoán nên bắt đầu từ bài toán cụ thể của phòng khám và một bộ câu hỏi cố định cho mọi nhà cung cấp, không bắt đầu từ bản trình diễn. Bộ câu hỏi cần phủ sáu nhóm: mục đích sử dụng và cấp phép, dữ liệu huấn luyện và kiểm định, tích hợp với máy móc hiện có, dữ liệu người bệnh đi đâu, cập nhật mô hình và hỗ trợ, và điều khoản hợp đồng. Nhà cung cấp trả lời được rõ ràng bằng văn bản là dấu hiệu tốt; né tránh cũng là một câu trả lời.
Bài này là danh sách để chủ phòng khám mang vào buổi gặp nhà cung cấp. Câu hỏi viết ở mức người không chuyên kỹ thuật hỏi được, kèm giải thích ngắn vì sao câu đó quan trọng. Phần cấp phép thiết bị y tế và cách đọc con số hiệu năng có bài riêng trong danh mục; ở đây chỉ nêu câu cần hỏi.
Bắt đầu từ bài toán, không từ bản trình diễn
Bản trình diễn được chuẩn bị để gây ấn tượng: ảnh đẹp, ca rõ, máy khoanh trúng ngay. Nó cho bạn biết giao diện trông thế nào, nhưng gần như không cho biết công cụ chạy ra sao với phim của máy chụp nhà mình, với người bệnh của mình, trong giờ cao điểm của mình. Phòng khám nhỏ thường mua sau buổi trình diễn rồi mới phát hiện công cụ không hợp.
Trước buổi gặp, viết ra một đoạn ngắn: phòng khám muốn giải quyết việc gì, với loại ảnh hay bản ghi nào, mỗi tháng khoảng bao nhiêu ca, ai sẽ xem kết quả của máy và vào lúc nào. Ví dụ giả định: một phòng khám ở Đồng Nai nhận khám sức khoẻ cho các công ty trong khu công nghiệp, mỗi đợt vài trăm phim ngực, bác sĩ chẩn đoán hình ảnh đọc từ xa buổi tối; họ cần một lưới soát để không sót trong lúc đọc dồn.
Đưa đoạn đó cho nhà cung cấp ngay từ đầu, và đề nghị họ trình diễn trên một bộ phim mẫu do phòng khám chọn, đã xoá tên, có cả phim xấu và phim khó. Nhà cung cấp tự tin vào sản phẩm thường đồng ý. Phần còn lại của bài là các câu hỏi để đi tiếp sau bước này.
Xem bản trình diễn cho tỉnh táo
Nếu vẫn có buổi trình diễn, hãy biến nó thành một buổi kiểm tra nhỏ thay vì một buổi xem quảng cáo. Vài việc nên làm ngay trong buổi đó:
- Mang theo bộ ảnh mẫu đã xoá thông tin nhận dạng, gồm cả ảnh bình thường, ảnh có bất thường đã biết, ảnh chất lượng kém và vài ca khó.
- Đề nghị chạy trực tiếp trên bộ ảnh đó, không chọn lọc trước.
- Ghi lại máy báo gì cho từng ảnh, so với kết luận đã biết; đặc biệt chú ý ảnh kém chất lượng, xem máy có cảnh báo hay vẫn trả kết quả tự tin.
- Hỏi người trình diễn vì sao máy sai ở những ảnh sai, và họ xử lý thế nào khi khách hàng gặp tình huống đó.
- Đo thời gian từ lúc gửi ảnh tới lúc có kết quả.
- Sau buổi gặp, xoá bộ ảnh mẫu khỏi hệ thống của nhà cung cấp và xin xác nhận đã xoá.
Một bộ ảnh mẫu khoảng vài chục tấm không đủ để đánh giá hiệu năng, nhưng đủ để thấy công cụ phản ứng thế nào với ảnh thật của phòng khám và người bán trả lời câu khó ra sao.
Câu hỏi về mục đích sử dụng và cấp phép
Mục đích sử dụng là phạm vi mà nhà sản xuất cam kết và đã được kiểm định. Dùng ngoài phạm vi đó, mọi con số hiệu năng mất ý nghĩa và trách nhiệm dồn về phía phòng khám.
- Công cụ được thiết kế cho loại ảnh hoặc tín hiệu nào, cho những dấu hiệu hay tình trạng nào, ở nhóm tuổi nào.
- Vai trò dự kiến là gì: người đọc thứ hai, xếp ưu tiên, hay lọc ca bình thường.
- Công cụ đã được cấp phép lưu hành là trang thiết bị y tế ở Việt Nam chưa, theo phân loại nào; đã được cấp phép ở nước nào khác, cho đúng mục đích nào. Xin bản sao giấy tờ.
- Những tình huống nào nhà sản xuất ghi rõ là không dùng: trẻ em, phim chụp tại giường, thiết bị cấy ghép, ảnh chất lượng kém.
- Tài liệu hướng dẫn sử dụng bằng tiếng Việt có không, có ghi rõ giới hạn không.
Nếu câu trả lời về cấp phép là "đang làm thủ tục" hoặc "không cần vì chỉ là phần mềm", hãy ghi lại nguyên văn và tìm hiểu thêm trước khi đi tiếp; bài về cấp phép trong danh mục giải thích vì sao phần mềm vẫn có thể là thiết bị y tế.
Câu hỏi về dữ liệu huấn luyện và kiểm định
Công cụ chỉ đáng tin trong phạm vi những gì nó đã học và đã được kiểm. Các câu hỏi dưới đây giúp ước lượng phạm vi đó gần với người bệnh của bạn tới đâu.
- Dữ liệu huấn luyện đến từ đâu: nước nào, loại cơ sở nào, loại máy chụp nào.
- Có dữ liệu từ người châu Á, người Việt Nam không; có báo cáo hiệu năng riêng cho nhóm đó không.
- Kiểm định độc lập đã được làm ở đâu, có công bố không, trên bao nhiêu ca bệnh.
- Độ nhạy và độ đặc hiệu tại ngưỡng mặc định là bao nhiêu, kèm khoảng tin cậy.
- Chuẩn tham chiếu trong kiểm định là gì.
- Đã có cơ sở nào ở Việt Nam dùng thực tế và đo lại chưa; có số liệu đó không. Nếu nhà cung cấp nêu tên cơ sở, hãy tự liên hệ để hỏi, đừng chỉ dựa vào lời kể.
Ghi câu trả lời vào cùng một bảng cho mọi nhà cung cấp. So trên bảng dễ hơn nhiều so với so trí nhớ sau ba buổi trình diễn.
Câu hỏi về tích hợp kỹ thuật
Phần tích hợp quyết định công cụ có được dùng hằng ngày hay không. Mời người phụ trách máy móc hoặc kỹ thuật viên ngồi cùng khi hỏi nhóm câu này.
| Câu hỏi | Vì sao quan trọng |
|---|---|
| Nhận ảnh từ máy chụp và phần mềm lưu ảnh hiện có bằng cách nào | Phải nhập tay hay xuất tệp thủ công thì sau vài tuần sẽ không ai làm |
| Xử lý tại chỗ hay gửi lên máy chủ ở xa | Ảnh hưởng tốc độ, phụ thuộc mạng, và nơi dữ liệu người bệnh đi qua |
| Thời gian trả kết quả trong điều kiện bình thường và giờ cao điểm | Kết quả về sau khi bác sĩ đọc xong thì vai trò xếp ưu tiên không còn |
| Kết quả hiện ở đâu: phần mềm xem ảnh, hồ sơ bệnh án hay ứng dụng riêng | Phải mở thêm một ứng dụng riêng làm giảm khả năng được dùng |
| Ảnh gốc có bị thay đổi hay ghi đè không | Ảnh gốc phải luôn được giữ nguyên, lớp gợi ý là lớp phụ |
| Khi công cụ ngừng chạy thì sao | Quy trình đọc phải chạy bình thường khi không có máy; công cụ không được thành điểm nghẽn |
Đề nghị nhà cung cấp chạy thử trên hệ thống thật của phòng khám vài tuần trước khi ký, với dữ liệu đã được bảo vệ theo thoả thuận bằng văn bản.
Dữ liệu người bệnh đi đâu
Nơi lưu và xử lý. Hỏi ảnh và kết quả được lưu ở đâu, bao lâu, có ra khỏi Việt Nam không. Dữ liệu sức khoẻ là dữ liệu cá nhân nhạy cảm; việc chuyển ra nước ngoài và xử lý bởi bên thứ ba có yêu cầu riêng theo quy định hiện hành.
Có dùng để huấn luyện thêm không. Nhiều nhà cung cấp muốn dùng dữ liệu khách hàng để cải tiến mô hình. Nếu có, điều đó phải được thoả thuận rõ, có ẩn danh, và phòng khám phải cân nhắc nghĩa vụ của mình với người bệnh.
Ẩn danh trước khi gửi. Hỏi công cụ có tự xoá thông tin nhận dạng trong ảnh trước khi gửi đi không, kể cả tên người bệnh có thể nằm trong phần đầu tệp ảnh.
Thoả thuận xử lý dữ liệu. Yêu cầu một thoả thuận bằng văn bản về xử lý dữ liệu, ai được truy cập, xử lý sự cố lộ dữ liệu, xoá dữ liệu khi chấm dứt hợp đồng. Chi tiết có ở danh mục bảo vệ dữ liệu sức khoẻ.
Cập nhật mô hình và hỗ trợ sau bán
Cập nhật có báo trước không. Một bản cập nhật mô hình có thể làm thay đổi cách công cụ báo, tốt lên hoặc xấu đi. Phòng khám cần được báo trước, biết thay đổi gì, và ghi lại ngày cập nhật.
Cập nhật có phải cấp phép lại không. Với thiết bị y tế, thay đổi lớn có thể cần thủ tục. Hỏi nhà cung cấp cách họ quản lý việc này.
Ai hỗ trợ khi có vấn đề. Có đầu mối hỗ trợ bằng tiếng Việt không, thời gian phản hồi bao lâu, có hỗ trợ ngoài giờ không nếu phòng khám đọc phim buổi tối.
Có số liệu theo dõi sau bán không. Nhà cung cấp có theo dõi hiệu năng trên các cơ sở đang dùng không, có chia sẻ kết quả theo dõi cho phòng khám không.
Đào tạo người dùng. Hỏi nhà cung cấp có buổi hướng dẫn cho bác sĩ, kỹ thuật viên và điều dưỡng không, có tài liệu về giới hạn của công cụ không, và khi phòng khám có nhân viên mới thì ai đào tạo. Công cụ tốt mà người dùng không hiểu giới hạn vẫn có thể gây hại.
Điều khoản hợp đồng cần đọc kỹ
Phần hợp đồng nên được người có kinh nghiệm pháp lý xem trước khi ký. Có thể hỏi luật sư trên AI Cố Vấn nếu phòng khám chưa có người tư vấn. Những điểm hay bị bỏ qua:
- Phạm vi trách nhiệm của nhà cung cấp khi công cụ hoạt động sai so với mô tả.
- Cam kết về thời gian hoạt động và cách xử lý khi hệ thống ngừng.
- Quyền sở hữu và quyền sử dụng dữ liệu phát sinh, kể cả kết quả phân tích.
- Điều kiện chấm dứt hợp đồng, cách lấy lại hoặc xoá dữ liệu, thời hạn thực hiện.
- Điều khoản tự động gia hạn và cách thay đổi chi phí trong thời gian hợp đồng.
- Ai chịu trách nhiệm về thủ tục cấp phép và cập nhật cấp phép.
Đừng ký hợp đồng dài hạn ngay từ đầu nếu chưa chạy thử. Một giai đoạn dùng thử có điều khoản rút lui rõ ràng giúp phòng khám ra quyết định dựa trên số liệu của chính mình.
Câu hỏi thường gặp
Có nên mua công cụ AI chẩn đoán ngay sau buổi trình diễn không?
Không nên. Bản trình diễn được chuẩn bị để gây ấn tượng và hiếm khi phản ánh điều kiện của phòng khám. Hãy đề nghị chạy trên bộ ảnh mẫu do phòng khám chọn, rồi chạy thử trên hệ thống thật trước khi ký hợp đồng dài hạn.
Nhà cung cấp nói phần mềm không cần cấp phép vì chỉ hỗ trợ, có đúng không?
Chưa chắc. Phần mềm có mục đích y tế như hỗ trợ chẩn đoán có thể thuộc diện trang thiết bị y tế. Hãy xin văn bản về phân loại và tình trạng cấp phép, đối chiếu quy định hiện hành, và hỏi thêm chuyên gia pháp lý khi cần.
Câu hỏi nào quan trọng nhất khi chọn công cụ?
Công cụ được thiết kế và kiểm định cho đúng loại ảnh, đúng nhóm người bệnh và đúng vai trò mà phòng khám định dùng hay không. Nếu câu trả lời là không, mọi con số hiệu năng khác đều không áp dụng được.
Có nên cho nhà cung cấp dùng dữ liệu phòng khám để huấn luyện mô hình không?
Chỉ khi có thoả thuận rõ bằng văn bản, dữ liệu đã được ẩn danh và phòng khám đã cân nhắc nghĩa vụ với người bệnh theo quy định về dữ liệu cá nhân. Nếu không chắc, mặc định là không đồng ý.
Phòng khám không có người làm IT thì có dùng được công cụ AI không?
Có thể, nếu công cụ tích hợp sẵn với máy và phần mềm đang dùng và nhà cung cấp có hỗ trợ tốt. Nên mời kỹ thuật viên ngồi cùng khi hỏi phần tích hợp, và yêu cầu chạy thử trên hệ thống thật trước khi ký.
Nên chạy thử công cụ bao lâu trước khi quyết định?
Đủ lâu để gặp nhiều tình huống thật và tích luỹ một số ca bệnh thuộc đúng loại, thường từ vài tuần tới vài tháng tuỳ khối lượng. Trong lúc chạy thử, bác sĩ vẫn đọc như cũ và ghi lại các ca bất đồng với máy.