Vào tháng 9 năm 2021, nhóm Google Brain do Jeff Dean dẫn đầu đã xuất bản một bài báo về chip thiết kế AI, bài báo này đã gây chấn động trong ngành. Tuy nhiên, sau đó nhiều người phát hiện ra rằng tác phẩm này không thể sao chép được và dữ liệu, mã quan trọng đã bị ẩn đi, Nature cũng đã mở một cuộc điều tra về việc này. Gần đây, một bài báo nghiên cứu về “chip tự thiết kế AI” do chuyên gia Google Jeff Dean đứng đầu đã được tiết lộ đã chính thức được Nature điều tra!
Sau khi Google xuất bản bài báo này, nó đã mở mã nguồn CircuitTraining cụ thể trên GitHub, điều này đã trực tiếp gây chấn động trong toàn bộ cộng đồng thiết kế EDA và IC.
Tuy nhiên, công trình này liên tục bị đặt dấu hỏi kể từ đó.
Vào ngày 20 tháng 9, Nature cuối cùng đã đính kèm một tuyên bố trong bài báo này:
Lưu ý của người biên tập: Người đọc được thông báo rằng các tuyên bố về hiệu suất trong bài viết này đã bị nghi ngờ. Các biên tập viên đang điều tra những vấn đề này và sẽ có hành động thích hợp sau khi cuộc điều tra hoàn tất.
Địa chỉ trên giấy: https://www.nature.com/articles/s 41586-021-03544-w
Đồng thời, Marcus, người luôn luôn có dội nước lạnh vào các mô hình AI lớn, cũng phát hiện ra bài viết review liên quan đến bài báo Nature này cũng đã bị tác giả rút lại.
Marcus đã mô tả nó trên Twitter: "Một thành tựu trí tuệ nhân tạo được thổi phồng quá mức nữa lại sắp trở thành con số không?"
Bây giờ, mặt trước của bài viết đánh giá về Nature có liên quan đã được dán nhãn "bài viết rút lại" bằng chữ in hoa.
Bài viết đánh giá: https://www.nature.com/art icles/d41586-021-01515-9
Vì bài báo gốc bị nghi vấn nên tác giả đã đã viết bài đánh giá liên quan cũng đã rút lại nó.
Các tác giả đã rút lại bài viết này vì thông tin mới đã xuất hiện kể từ khi bài báo xuất bản về các phương pháp được sử dụng trong bài báo được báo cáo và do đó kết luận của các tác giả về đóng góp của bài báo đã thay đổi. Nature cũng đang tiến hành một cuộc điều tra độc lập về các kết luận trong bài báo.
Ngoài ra, Marcus còn đào được một tin tức như vậy: cựu nhà nghiên cứu Google Satrajit Chatterjee từ lâu đã dấy lên nghi ngờ về bài báo của nhóm Jeff Dean.
Anh ấy đã viết một bài báo phản bác, nhưng Google cho biết bài báo đó sẽ không được xuất bản. Sau đó, Chatterjee, 43 tuổi, bị Google sa thải.
Đối với câu chuyện này, Thời báo New York đã đưa tin trong một bài báo vào tháng 5 năm 2022
01T AGPH100
Mã không khớp với giấy
Một nhóm học giả từ UCSD đã tiến hành một nghiên cứu rất chuyên sâu về Nature của Google và các mã liên quan.
Họ viết những nghi ngờ của mình vào một bài báo được đưa vào ISPD2023, hội nghị học thuật hàng đầu thế giới về thiết kế vật lý mạch tích hợp, vào tháng 3 năm nay.
Địa chỉ trên giấy: https://arxiv.org/abs/230 2.11014
Trên GitHub, nhóm chung của Google và Stanford đã tiết lộ mã, và chính trong mã này mà nhóm UCSD đã phát hiện ra "Huadian".
Nhóm UCSD đã triển khai các thành phần "hộp đen" chính trong dự án "Đào tạo mạch" (CT) theo cách nguồn mở, sau đó phát hiện ra rằng có sự khác biệt giữa CT và bài báo Nature và không thể sao chép được!
Địa chỉ dự án: https://github.com/google-research/ Circuit_training# Circuit-training-an-open-source-framework-for-generated-chi p-floor-plans-with-distributed-deep-reinforcement-learning
Trên tạp chí Nature, Google cho biết rằng trong vòng chưa đầy sáu giờ, phương pháp của họ đã tự động tạo ra bố cục chip hoạt động tốt hơn hoặc tương đương với bố cục do con người tạo ra ở tất cả các chỉ số chính, bao gồm mức tiêu thụ điện năng, hiệu suất và diện tích chip.
Nhóm UCSD nhận thấy rằng cả dữ liệu và mã trong bài viết này đều không có đầy đủ. Trong khoảng thời gian này, họ cũng nhận được phản hồi từ các kỹ sư của Google về các vấn đề liên quan.
Ngoài ra, một bài báo có tên "Cơ sở mạnh mẽ hơn để đánh giá việc học tăng cường sâu trong vị trí chip" tuyên bố rằng đường cơ sở ủ mô phỏng mạnh hơn sẽ tốt hơn bài báo Nature, nhưng dường như sử dụng phiên bản CT nội bộ của Google cũng như các điểm chuẩn và chỉ số đánh giá khác nhau.
Tóm lại, các phương pháp và kết quả trong Nature không thể được sao chép lại.
Nhóm UCSD đã tạo ra các giải pháp bố cục macro bằng CT, CMP, SA, ReP1Ace và AutoDMP, bao gồm các giải pháp bố cục macro do các chuyên gia con người tạo ra. Dưới sự hướng dẫn của các kỹ sư Google, họ đã sử dụng 0,5 làm trọng số mật độ thay vì 1
Trong bài báo, nhóm UCSD mô tả kỹ thuật đảo ngược của các thành phần "hộp đen" chính của CT—vị trí định hướng bắt buộc và tính chi phí đại lý.
Hai phần này không được ghi lại rõ ràng trên tạp chí Nature cũng như nguồn mở.
Ngoài ra, nhóm UCSD cũng đã triển khai vị trí macro ủ mô phỏng dựa trên lưới để so sánh bài báo Nature với các đường cơ sở mạnh hơn.
Ariane-NG45 vị trí macro được tạo bởi các trình đặt macro khác nhau
Nhóm UCSD đã đưa ra một báo cáo đánh giá thử nghiệm tiết lộ các khía cạnh sau của CT -
(1) Thông tin vị trí ban đầu sử dụng các công cụ tổng hợp vật lý thương mại ảnh hưởng như thế nào đến kết quả CT
4(2) Tính ổn định của CT
(3) Mối tương quan giữa chi phí của tác nhân CT và sản lượng “trong thế giới thực” của các công cụ EDA thương mại
TAGPH 29(4) Hiệu suất của các trường hợp thử nghiệm ICADO4 được nghiên cứu trong bản thảo cơ sở mạnh hơnNhìn chung, nhóm UCSD đã tìm thấy một số điểm không khớp đáng kể giữa CT và bài báo Nature.
CT giả định rằng tất cả các phiên bản trong danh sách mạng đầu vào đều có vị trí (x, y), nghĩa là danh sách mạng đã được đặt trước khi được đưa vào CT.
Các quy trình phân nhóm, chia lưới và phân cụm của CT đều sử dụng thông tin vị trí.
Vị trí theo hướng cưỡng bức
Tuy nhiên, thông tin này không rõ ràng trong bài đánh giá và không được đề cập trong bài báo Nature.
Tương tự, hai yếu tố “hộp đen” chính giải thích về CT—vị trí định hướng bắt buộc và tính toán chi phí tác nhân—không được ghi lại rõ ràng trong bài báo Nature và không hiển thị trong CT.
Những ví dụ này thể hiện kỹ thuật đảo ngược cần thiết để hiểu và triển khai lại các phương pháp mà cho đến nay chỉ hiển thị thông qua một số API nhất định.
Tính toán chi phí tắc nghẽn
NG45 Ari ane's Đường cong đào tạo CT do nhóm UCSD và các kỹ sư của Google tạo ra
Ngoài bài viết này, nhóm UCSD còn có một trang chủ dự án chi tiết hơn để ghi lại toàn diện nghiên cứu của họ trên bài báo Nature của Google.
Địa chỉ dự án: https://tilos-ai-institute. github.io/MacroPlacement/Docs/OurProgress/
Tóm lại, có tổng cộng mười tám "sự tra tấn linh hồn".
TAGPH 7102
Thiên nhiênChúng ta làm việc cùng nhau Bài báo đã phản hồi
Về vấn đề này, một nhóm chung của Google và Stanford đã đưa ra một tuyên bố rất chi tiết:
“Chúng tôi tin rằng tính năng đặc biệt này được xuất bản gần đây trên giấy mời của ISPD, đã mô tả không chính xác công việc của chúng tôi ”
Địa chỉ sao kê: https://www.annagoldie.com/home/s. tatement
Đầu tiên, hãy giới thiệu một số thông tin cơ bản quan trọng:
Phương pháp RL được đề xuất trong bài viết đã được sử dụng để sản xuất nhiều thế hệ máy gia tốc AI (TPU) hàng đầu của Google (bao gồm cả thế hệ mới nhất). Nói cách khác, các con chip được tạo ra dựa trên phương pháp này đã được sản xuất và đang chạy trong các trung tâm dữ liệu của Google.
Mức độ xác minh dưới 10nm vượt xa mức độ của hầu hết các loại giấy tờ.
Bố cục do ML tạo ra phải tốt hơn đáng kể so với bố cục do các kỹ sư của Google tạo ra (tức là vượt quá trình độ con người), nếu không thì bạn không nên mạo hiểm.
Nature đã tiến hành cuộc đánh giá ngang hàng kéo dài 7 tháng, trong đó người đánh giá bao gồm 2 chuyên gia thiết kế vật lý và 1 chuyên gia học tăng cường.
Nhóm TF-Agents đã sao chép độc lập các kết quả của bài báo Nature.
Nhóm đã mở mã nguồn vào ngày 18 tháng 1 năm 2022.
Tính đến ngày 18 tháng 3 năm 2023, có hơn 100 nĩa và hơn 500 ngôi sao.
Phát triển và mã nguồn mở khung RL phân tán được tối ưu hóa cao này là một dự án lớn và phạm vi ứng dụng của nó đã vượt quá phạm vi bố trí chip và thậm chí cả lĩnh vực tự động hóa thiết kế điện tử (EDA).
Điều đáng chú ý là trong lĩnh vực EDA thương mại, việc thực hành mã dự án nguồn mở là không phổ biến.
Sau khi phương pháp của nhóm được phát hành, nhiều bài báo dựa trên công trình nghiên cứu của nhóm đã được xuất bản tại các hội nghị ML và EDA. Ngoài ra, các công ty như NVIDIA, Synopsys, Cadence và Samsung cũng tuyên bố rằng họ sử dụng phương pháp học tăng cường trong thiết kế chip.
Sau đó, phản hồi về khía cạnh kỹ thuật của bài viết ISPD:
Bài viết ISPD không thực hiện bất kỳ khóa đào tạo trước nào cho "CircuitTraining" (CT), có nghĩa là tác nhân RL sẽ được đặt lại mỗi khi nhìn thấy chip mới.
Phương pháp dựa trên học tập Nếu bạn chưa từng thấy chip, tất nhiên thời gian học sẽ lâu hơn và hiệu suất sẽ kém hơn! Nhóm
lần đầu tiên được đào tạo trước trên 20 khối trước khi đánh giá các trường hợp thử nghiệm trong Bảng 1.
Tài nguyên tính toán để đào tạo CT ít hơn nhiều so với tài nguyên được sử dụng trong bài báo Nature (số lượng GPU giảm một nửa và môi trường RL giảm đi một mức độ lớn).
Các biểu đồ kèm theo bài báo của ISPD cho thấy CT đã không được đào tạo chính xác và đặc vụ RL đã bị gián đoạn khi nó vẫn đang học.
RePlAce là tiên tiến nhất khi xuất bản các bài báo về Tự nhiên. Hơn nữa, ngay cả khi bỏ qua tất cả những điều trên, cách tiếp cận của nhóm vẫn hoạt động tốt hơn vào thời điểm đó và hiện tại.
Mặc dù nghiên cứu có tiêu đề “Đánh giá học tập của bố cục vĩ mô dựa trên học tập tăng cường”, nhưng nó không so sánh hoặc thậm chí thừa nhận bất kỳ phương pháp RL nào dựa trên công việc này.
Bài viết ISPD so sánh CT với AutoDMP (ISPD2023) và phiên bản mới nhất của CMP, một công cụ thương mại nguồn đóng hộp đen. Khi nhóm xuất bản bài báo của họ vào năm 2020, vẫn chưa có phương pháp nào.
Bài viết ISPD tập trung vào việc phân cụm các ô tiêu chuẩn bằng cách sử dụng các vị trí ban đầu được tổng hợp vật lý, nhưng điều này không liên quan gì đến tình hình thực tế.
Tổng hợp vật lý phải được thực hiện trước khi chạy bất kỳ phương pháp sắp xếp nào. Đây là thông lệ tiêu chuẩn trong thiết kế chip và được phản ánh trong Hình 2 của bài báo ISPD.
Là bước tiền xử lý, nhóm sử dụng lại đầu ra của quá trình tổng hợp vật lý để phân cụm các ô tiêu chuẩn. Nói rõ hơn, phương pháp của nhóm sẽ không đặt các ô tiêu chuẩn vì chúng đã được xử lý tốt bằng các phương pháp trước đó như DREAMPlace.
Trong mỗi sự kiện RL, nhóm cung cấp cho tác nhân RL một macro (thành phần bộ nhớ) chưa được đặt và một cụm ô tiêu chuẩn chưa được đặt (cổng logic), sau đó tác nhân RL lần lượt đặt các macro này vào khung vẽ trống.
Chín tháng trước, nhóm đã ghi lại những chi tiết này trong kho lưu trữ nguồn mở và cung cấp API để thực hiện bước tiền xử lý này. Tuy nhiên, điều này không ảnh hưởng đến kết quả thí nghiệm hoặc kết luận trong bài báo.
Cuối cùng, nhóm nhận định rằng phương pháp hiện tại chưa hoàn hảo và chắc chắn sẽ có những tình huống cho kết quả không tốt lắm.
Nhưng đây mới chỉ là khởi đầu. Các phương pháp thiết kế chip dựa trên học tập chắc chắn sẽ có tác động sâu sắc đến chính phần cứng và máy học.
03
Sử dụng AI, bạn có thể thiết kế một con chip trong 6 giờ không?
Quay lại bài viết này trên tạp chí Nature, vào năm 2021, nhóm Google Brain do Jeff Dean và các nhà khoa học từ Đại học Stanford dẫn đầu đã tuyên bố:
“Một phương pháp dựa trên Phương pháp quy hoạch bố trí chip của học tăng cường sâu (DL) có thể tạo ra các giải pháp thiết kế chip khả thi. ”
Các nhà nghiên cứu của Google thực sự đã dành rất nhiều tâm huyết vào việc đào tạo AI để hoạt động.
So với các giải pháp dành cho trò chơi cờ bàn như cờ vua hoặc cờ vây, vấn đề bố trí chip phức tạp hơn.
Trong vòng chưa đầy 6 giờ, các nhà nghiên cứu của Google đã sử dụng "phương pháp lập kế hoạch bố trí chip dựa trên học tăng cường sâu" để tạo ra sơ đồ sàn chip và tất cả các chỉ số chính (bao gồm các thông số như mức tiêu thụ điện năng, hiệu suất và diện tích chip) đều tốt hơn hoặc tương đương với bản vẽ thiết kế của các chuyên gia con người.
Bạn biết đấy, những kỹ sư con người chúng tôi thường cần "nhiều tháng làm việc chăm chỉ" để đạt được kết quả như vậy.
Sơ đồ sàn vi mạch do con người thiết kế và thiết kế hệ thống máy học
Trong bài báo, các nhà nghiên cứu của Google coi phương pháp quy hoạch bố trí chip là một "vấn đề học tập".
Vấn đề tiềm ẩn về thiết kế vấn đề kẻ cướp theo ngữ cảnh chiều cao, kết hợp với nghiên cứu trước đây của Google, các nhà nghiên cứu đã chọn định dạng lại nó thành quy trình quyết định Markov tuần tự (MDP), để có thể dễ dàng bao gồm các ràng buộc sau:
(1) Trạng thái mã hóa thông tin về vị trí bộ phận, bao gồm danh sách mạng (ma trận kề), đặc điểm nút (chiều rộng, chiều cao, loại), đặc điểm cạnh (số lượng kết nối), nút hiện tại (macro) và siêu dữ liệu cho biểu đồ danh sách mạng (gán tuyến, số dòng, macro và cụm ô tiêu chuẩn).
(2) Hành động là tất cả các vị trí có thể (ô lưới của khung vẽ chip) nơi có thể đặt macro hiện tại mà không vi phạm bất kỳ ràng buộc cứng nào về mật độ hoặc tắc nghẽn.
(3) Với một trạng thái và một hành động, "chuyển đổi trạng thái" xác định phân bố xác suất của trạng thái tiếp theo.
(4) Phần thưởng: Phần thưởng cho tất cả các hành động ngoại trừ hành động cuối cùng là 0, trong đó phần thưởng là trọng số âm của độ dài đường dây đại lý, tình trạng tắc nghẽn và mật độ.
Các nhà nghiên cứu đã huấn luyện một chính sách (tác nhân RL) được mô hình hóa bởi mạng lưới thần kinh để học cách thực hiện các hành động "tối đa hóa phần thưởng tích lũy" thông qua các sự kiện lặp đi lặp lại (chuỗi trạng thái, hành động và phần thưởng).
Sau đó, các nhà nghiên cứu đã sử dụng Tối ưu hóa chính sách lân cận (PPO) để cập nhật các tham số của mạng chính sách, trao phần thưởng tích lũy cho mỗi vị trí.
Các nhà nghiên cứu đã xác định hàm mục tiêu như sau:
T AGPH78
Như đã đề cập trước đó, đang phát triển Các chiến lược thích ứng theo miền cho bài toán quy hoạch sàn chip là vô cùng khó khăn vì bài toán này tương tự như một trò chơi với các quân cờ, bảng và điều kiện thắng khác nhau, đồng thời có không gian hành động trạng thái rất lớn.
Để giải quyết thách thức này, trước tiên các nhà nghiên cứu tập trung vào việc tìm hiểu các cách biểu diễn phong phú của không gian trạng thái. Các nhà nghiên cứu của Google cho biết,
Trực giác của chúng tôi là một chiến lược có thể xử lý nhiệm vụ chung về vị trí đặt chip cũng phải có khả năng mã hóa trạng thái liên quan đến các chip mới chưa được nhìn thấy thành các tín hiệu có ý nghĩa tại thời điểm suy luận.
Do đó, các nhà nghiên cứu đã đào tạo một "kiến trúc mạng thần kinh" có khả năng dự đoán phần thưởng cho các vị trí trong danh sách mạng mới, với mục tiêu cuối cùng là sử dụng kiến trúc này làm lớp mã hóa cho chính sách.
Để huấn luyện mô hình được giám sát này, cần có tập dữ liệu vị trí chip lớn và nhãn phần thưởng tương ứng.
Vì vậy, các nhà nghiên cứu đã tạo ra một tập dữ liệu gồm 10.000 vị trí chip, trong đó đầu vào là trạng thái liên kết với một vị trí nhất định và nhãn là phần thưởng cho vị trí đó.
Để dự đoán chính xác nhãn phần thưởng và khái quát chúng thành dữ liệu chưa xác định, các nhà nghiên cứu đã đề xuất cấu trúc mạng thần kinh đồ thị dựa trên cạnh được gọi là Edge-GNN (Mạng lưới thần kinh dựa trên cạnh).
Trong Edge-GNN, các nhà nghiên cứu tạo bản trình bày ban đầu của mỗi nút bằng cách ghép các tính năng của nút đó, bao gồm loại nút, chiều rộng, chiều cao, tọa độ x và y cũng như khả năng kết nối của nút đó với các nút khác.
Sau đó, các cập nhật sau được thực hiện lặp đi lặp lại:
(1) Mỗi cạnh cập nhật biểu diễn của mình bằng cách áp dụng mạng được kết nối đầy đủ để kết nối hai nút mà nó kết nối;
(2) Mỗi nút cập nhật cách biểu diễn của mình bằng cách chuyển tất cả các cạnh vào và ra trung bình sang một mạng được kết nối đầy đủ khác.
Edge-GNN được sử dụng để nhúng danh sách mạng và trích xuất thông tin về loại nút cũng như khả năng kết nối vào biểu diễn vectơ chiều thấp có thể được sử dụng cho các tác vụ xuôi dòng.
Tác động của cấu trúc thần kinh dựa trên cạnh đến khả năng khái quát hóaT AGPH22
Đầu tiên, các nhà nghiên cứu đã chọn 5 danh sách mạng chip khác nhau và sử dụng thuật toán AI để tạo ra 2.000 vị trí bố cục khác nhau cho mỗi danh sách mạng.
Hệ thống mất 48 giờ để "đào tạo trước" trên "card đồ họa NVIDIA Volta" và 10 CPU, mỗi CPU có 2GB RAM.
Ở bên trái, chính sách đang được đào tạo từ đầu, ở bên phải, chính sách được đào tạo trước đang được tinh chỉnh cho con chip này. Mỗi hình chữ nhật đại diện cho một vị trí macro riêng lẻ
Trong một thử nghiệm, các nhà nghiên cứu đã so sánh đề xuất hệ thống của họ với đường cơ sở thủ công—một thiết kế chip TPU thế hệ trước do nhóm thiết kế vật lý TPU của Google tạo ra.
Kết quả cho thấy cả hệ thống và chuyên gia con người đều tạo ra các vị trí khả thi đáp ứng các yêu cầu về thời gian và chặn, trong khi hệ thống AI hoạt động tốt hơn hoặc phù hợp với bố cục thủ công về diện tích, nguồn điện và chiều dài dây trong khi mất ít thời gian hơn đáng kể để đáp ứng các tiêu chí thiết kế.
Nhưng hiện tại, bài báo này, từng gây chấn động trong toàn bộ cộng đồng thiết kế EDA và IC, hiện đang được Nature nghiên cứu lại và tôi không biết nó sẽ phát triển như thế nào trong tương lai.