Một khám phá đáng xấu hổ: hệ thống lái xe tự động cũng phân biệt đối xử với các nhóm người. Các nhà nghiên cứu từ King's College London đã tiến hành một nghiên cứu và tìm ra lỗ hổng sau khi kiểm tra hơn 8.000 hình ảnh: hệ thống phát hiện người đi bộ do AI điều khiển được sử dụng trên ô tô tự lái có độ chính xác phát hiện đối với trẻ em thấp hơn 19,67% so với người lớn và độ chính xác phát hiện của làn da sẫm màu thấp hơn 7,53% so với làn da sáng. Không có nhiều sự khác biệt về độ chính xác phát hiện giữa các giới tính, chỉ chênh lệch 1,1%.

Điều này có nghĩa là xe tự lái sẽ khó phát hiện trẻ em và người đi bộ da đen hơn so với người lớn và người đi bộ da sáng.

Tại sao lại thế này?

Không thân thiện với trẻ em và người da đen

Trước tiên hãy xem quá trình thử nghiệm.

Nhóm nghiên cứu này đã sử dụng phương pháp phân tích dữ liệu. Lần đầu tiên, họ tìm thấy 8 hệ thống phát hiện dành riêng cho người đi bộ được các công ty xe tự hành sử dụng phổ biến nhất và cũng phổ biến trên thị trường.

Sử dụng các hệ thống phát hiện người đi bộ này để thu thập dữ liệu thử nghiệm cảnh thực, bao gồm các cảnh thực tế với độ sáng, độ tương phản, điều kiện thời tiết khác nhau, v.v. Những bộ dữ liệu này chủ yếu bao gồm các hình ảnh đường phố thực được chụp.


Họ đã thu được tổng cộng 8311 hình ảnh trong bốn cảnh thực, trong đó thể hiện người đi bộ ở các tư thế, kích cỡ và tình huống tắc nghẽn khác nhau. Các nhà nghiên cứu cũng đặc biệt thêm thẻ cho người đi bộ trong ảnh, với tổng số 16.070 thẻ giới tính, 20.115 thẻ tuổi và 3.513 thẻ màu da.

Trọng tâm nghiên cứu là liệu hệ thống phát hiện người đi bộ lái xe tự động có phản ứng giống nhau khi đối mặt với những người đi bộ khác nhau hay không, đặc biệt là liệu có xảy ra vấn đề không công bằng trong ba yếu tố giới tính, tuổi tác và màu da hay không.

Các hệ thống phát hiện được sử dụng bao gồm ALFNet, CSP, MGAN và PRNet, v.v. Trong số đó, ALFNet sử dụng dự đoán nhiều bước để định vị tiệm cận, giúp giải quyết các hạn chế của phát hiện một bước trong phát hiện người đi bộ.

CSP giới thiệu phương pháp không có neo bằng cách xác định vị trí trung tâm và chia tỷ lệ người đi bộ; MGAN sử dụng thông tin hộp giới hạn vùng nhìn thấy để hướng dẫn việc tạo sự chú ý và chủ yếu được sử dụng để phát hiện người đi bộ trong tình trạng bị che khuất.


Sau khi thu thập hình ảnh, nhóm nghiên cứu đã sử dụng một công thức khác biệt để đặt câu hỏi liệu hệ thống lái xe tự động có bất công với nhóm hay không. MR thường đại diện cho chỉ báo hiệu suất được sử dụng phổ biến nhất trong nghiên cứu phát hiện người đi bộ, MR=1-TP/(TP+FN), trong đó TP (dương thực) đề cập đến số lượng hộp giới hạn thực tế mặt đất đã được xóa thành công và FN (âm tính giả) đề cập đến số lượng hộp giới hạn thực tế mặt đất không được phát hiện.

Sau khi tính toán, tỷ lệ phát hiện của máy phát hiện người đi bộ đối với người đi bộ nam và nữ là tương tự nhau, chênh lệch là 1,1%. Tuy nhiên, sự chênh lệch về độ tuổi và màu da lớn hơn, lần lượt đạt 19,67% và 7,52%!

Điều này có nghĩa là hệ thống phát hiện người đi bộ không người lái sẽ gặp khó khăn hơn trong việc xác định trẻ em và những người có làn da sẫm màu hơn, đồng thời những nhóm này cũng sẽ phải đối mặt với rủi ro lớn hơn.

Điều đặc biệt đáng chú ý là những con số này tăng lên ở một mức độ nhất định vào ban đêm. EOD của trẻ em (sự khác biệt giữa nhóm trẻ em và người lớn) tăng từ 22,05% lên 26,63% từ ngày sang đêm và tỷ lệ chênh lệch giữa các nhóm màu da (da sẫm và da sáng) tăng từ 7,14% ban ngày lên 9,68% vào ban đêm.

Ngoài ra, so với nam giới, phụ nữ có tỷ lệ phạm pháp cao hơn ở cả 3 yếu tố so với nam giới.

Ngoài ra, nhóm nghiên cứu đã nghiên cứu dữ liệu trong các điều kiện độ sáng và độ tương phản khác nhau. Các biến này cũng sẽ có tác động lớn hơn đến tỷ lệ phát hiện.


Trong số 8 hệ thống phát hiện người đi bộ được chọn, khi độ sáng giảm, hệ thống phát hiện cấp một hoạt động kém nhất, đặc biệt là về màu da, trong đó sự khác biệt giữa da tối và da sáng đạt giá trị cao nhất.

"AI công bằng sẽ đối xử bình đẳng với tất cả các nhóm, nhưng điều này dường như không đúng với những chiếc xe không người lái hiện nay." Tiến sĩ Jie Zhang, tác giả của nghiên cứu, cho biết.

Tại sao điều này lại xảy ra?

Điều này chủ yếu là do hệ thống trí tuệ nhân tạo yêu cầu một lượng lớn dữ liệu để đào tạo và một khi những dữ liệu này không đủ, chắc chắn nó sẽ được phản ánh vào hiệu suất của trí tuệ nhân tạo. Điều này cũng có nghĩa là việc thiếu dữ liệu đào tạo đã dẫn đến những sai lệch nhất định ở một số AI trí tuệ nhân tạo.

Vẫn còn nhiều vấn đề chưa được giải quyết

Trên thực tế, có một sự bất công nhất định trong hệ thống trí tuệ nhân tạo và đây không phải là lần đầu tiên các nhà nghiên cứu nghiên cứu về nó.

Ngay từ năm 2019, nghiên cứu của Viện Công nghệ Georgia ở Hoa Kỳ cho thấy những người có làn da sẫm màu có nhiều khả năng bị ô tô không người lái tông trên đường hơn những người có làn da sáng hơn. Các nhà nghiên cứu đã phân tích phương pháp phát hiện vật thể của ô tô không người lái và phân tích tổng cộng 3.500 bức ảnh về những người có màu da khác nhau.

Cuối cùng, người ta kết luận rằng công nghệ không người lái có độ chính xác trung bình kém hơn 5% khi nhận dạng những người có làn da tối màu.


Mặc dù những nghiên cứu này không liên quan đến ô tô không người lái đã chạy trên đường nhưng chắc chắn chúng sẽ khiến mọi người cảnh giác hơn với công nghệ không người lái.

Việc lái xe không người lái khó thực hiện. Phần lớn lý do là nó không thể thực sự thay thế con người trong việc ứng phó kịp thời với người đi bộ và tình trạng đường sá.

Năm 2018, một chiếc ô tô không người lái của gã khổng lồ dịch vụ gọi xe Uber đã tông chết một người ở Tempe, Arizona, Hoa Kỳ. Đây là vụ tai nạn không người lái đầu tiên. “Thiếu thời gian để phản ứng” là một vấn đề lớn.

Cách đây một thời gian, California ở Hoa Kỳ đã bỏ phiếu cho phép Cruise và Waymo, hai hãng taxi tự hành lớn, hoạt động thương mại suốt ngày đêm ở San Francisco. Thông tin này làm dấy lên sự bất bình trong dư luận Mỹ vì taxi tự lái thường xuyên gây ra tai nạn.


Hệ thống không người lái của ô tô có thể xác định tình trạng đường xá theo nhiều cách khác nhau, chẳng hạn như lidar gắn trên nóc xe, có thể tạo ra hình ảnh ba chiều về môi trường xung quanh ô tô nhiều lần trong một giây. Nó chủ yếu sử dụng các xung laser hồng ngoại để phản xạ các vật thể và truyền tín hiệu đến các cảm biến, có thể phát hiện các vật thể đứng yên và chuyển động.

Tuy nhiên, khi gặp thời tiết khắc nghiệt như sương mù dày đặc hoặc mưa lớn, độ chính xác của lidar sẽ giảm đi rất nhiều.

Camera quang tầm ngắn và tầm xa thực sự có thể đọc tín hiệu, xác định màu sắc của vật thể và các vật thể chi tiết hơn khác, điều này có thể bù đắp cho những thiếu sót của lidar.

Để tăng cường khả năng nhận dạng, nhiều hệ thống lái xe không người lái trong nước đã áp dụng lộ trình nhận thức kết hợp, đạt được thông qua công nghệ lidar và thị giác của camera, và nhận thức trực quan được ưu tiên hơn nhận thức radar, với nhận thức trực quan là trụ cột và nhận thức radar là phần bổ sung.

Nhưng Tesla lại rất yêu thích "nhận thức trực quan thuần túy". Musk từng nói lidar giống như phần phụ lục trên cơ thể con người. Tuy nhiên, điều này cũng khiến Tesla bị kiện nhiều lần vì tai nạn.


Trên thực tế, ngay cả lộ trình cảm biến lai vẫn cần phải vượt qua nhiều thách thức.

Ví dụ: chụp ảnh người đi bộ ở khoảng cách xa thường có mục tiêu nhỏ hơn, dẫn đến độ phân giải thấp hơn và độ chính xác định vị không đủ. Đây cũng là một trong những nguyên nhân khiến tỷ lệ trẻ em phạm pháp cao. Thứ hai, các tư thế khác nhau của người đi bộ cũng sẽ dẫn đến thuật toán phát hiện không chính xác và việc phát hiện người đi bộ sẽ bị ảnh hưởng bởi nền, chẳng hạn như cường độ ánh sáng, thay đổi thời tiết, v.v., sẽ ảnh hưởng đến phán đoán.

Cuối cùng cũng có chướng ngại vật. Các mục tiêu chồng chéo và sự tắc nghẽn cũng có tác động lớn đến việc nhận dạng thuật toán.

Các học giả Trung Quốc dẫn đầu nghiên cứu

Bài viết này giới thiệu tính công bằng của hệ thống lái xe tự động. Tên đầy đủ là "Người da đen đối mặt với nhiều rủi ro hơn trên đường phố: Vạch trần vấn đề công bằng của hệ thống lái xe tự động". Bài báo được đăng trên tạp chí "Nhà khoa học mới".


Nhóm nghiên cứu của bài báo đến từ King's College London. Có 6 tác giả được liệt kê trong bài báo, trong đó Xinyu eLi, Ying Zhang và Huyềnzhe Liu đến từ Đại học Bắc Kinh ở Trung Quốc, Zhenpeng Chen và Federico Casaro đến từ Đại học London, Vương quốc Anh và Jie M. Zhang đến từ King's College London.

JieM.Zhang hiện là trợ lý giáo sư tại King's College London. Nghiên cứu của cô tập trung vào việc kết hợp nghiên cứu công nghệ phần mềm với nghiên cứu trí tuệ nhân tạo để nâng cao độ tin cậy của phần mềm. Cô là nhà nghiên cứu tại Đại học London và nhận bằng Tiến sĩ về khoa học máy tính tại Đại học Bắc Kinh, Trung Quốc.

Là một học giả Trung Quốc, Jie M. Zhang cũng đã đạt được những thành tựu đáng kể ở Trung Quốc. Cô được vinh danh là một trong “15 nữ học giả trẻ hàng đầu Trung Quốc” vào tháng 3 năm nay. Cô cũng đã nhiều lần được mời phát biểu quan trọng về độ tin cậy của dịch máy. Cô và nhóm của mình cũng đã nhiều lần tiến hành nghiên cứu và phân tích về khả năng học tập của trí tuệ nhân tạo.

Liên quan đến vấn đề thiếu công bằng trong hệ thống phát hiện người đi bộ, JieM. Zhang cho rằng các nhà sản xuất ô tô và chính phủ cần cùng nhau xây dựng các quy định để đảm bảo sự an toàn và công bằng của hệ thống lái xe tự động.

Trên thực tế, trước đây đã có phần mềm tuyển dụng trí tuệ nhân tạo và phần mềm nhận dạng khuôn mặt. Độ chính xác của phụ nữ da đen không bằng đàn ông da trắng. Giờ đây, một khi xe tự lái có những hiểu lầm về nhận dạng, hậu quả có thể nghiêm trọng hơn.

“Trước đây, người dân tộc thiểu số có thể đã bị tước đi sự thuận tiện mà họ xứng đáng có được vì một số phần mềm.” Jie M. Zhang nói rằng bây giờ họ có thể phải đối mặt với tổn hại nghiêm trọng hơn, thậm chí là thương tích cá nhân.