Hiểu biết thấu đáo về các nguyên tắc của hình ảnh trực quan 3D

Hình ảnh tầm nhìn 3D là một trong những phương pháp quan trọng nhất để nhận biết thông tin của robot công nghiệp, có thể được chia thành phương pháp hình ảnh quang học và phi quang học. Hiện nay, các phương pháp quang học được sử dụng nhiều nhất, bao gồm: phương pháp thời gian bay, phương pháp ánh sáng có cấu trúc, phương pháp quét laser, phương pháp rìa Moire, phương pháp đốm laser, giao thoa kế, đo ảnh, phương pháp theo dõi laser, hình dạng từ chuyển động, hình dạng từ bóng tối, và ShapefromX khác. Bài báo này giới thiệu một số phương án điển hình.

1. Hình ảnh 3D thời gian bay

Mỗi pixel của camera thời gian bay (TOF) sử dụng chênh lệch thời gian trong chuyến bay của ánh sáng để thu được độ sâu của vật thể.

Trong phương pháp đo TOF cổ điển, hệ thống máy dò sẽ khởi động bộ phát hiện và thu theo thời điểm xung quang được phát ra. Khi máy dò nhận được tiếng vang quang học từ mục tiêu, máy dò sẽ lưu trực tiếp thời gian khứ hồi.

Còn được gọi là Direct TOF (DTOF), D-TOF thường được sử dụng trong các hệ thống đo khoảng cách một điểm, trong đó công nghệ quét thường được yêu cầu để đạt được hình ảnh 3D trên toàn khu vực.

Công nghệ hình ảnh TOF 3D không cần quét vẫn chưa được triển khai cho đến những năm gần đây vì rất khó thực hiện việc định giờ điện tử dưới nano giây ở cấp độ pixel.

Giải pháp thay thế cho D-TOF theo thời gian trực tiếp là TOF gián tiếp (I-TOF), trong đó chuyến đi theo thời gian được ngoại suy gián tiếp từ các phép đo cường độ ánh sáng theo thời gian. I-TOF không yêu cầu thời gian chính xác mà thay vào đó sử dụng bộ đếm photon hoặc bộ tích hợp điện tích có kiểm soát thời gian, có thể được triển khai ở cấp độ pixel. I-TOF là giải pháp thương mại hóa hiện nay dành cho máy trộn quang học và điện tử dựa trên camera TOF.

Hình ảnh TOF có thể được sử dụng cho trường nhìn rộng, khoảng cách xa, độ chính xác thấp, thu thập hình ảnh 3D chi phí thấp. Đặc điểm của nó là: tốc độ phát hiện nhanh, trường nhìn rộng, khoảng cách làm việc dài, giá rẻ nhưng độ chính xác thấp, dễ bị nhiễu bởi ánh sáng xung quanh.

2. Quét hình ảnh 3D

Phương pháp quét hình ảnh 3D có thể được chia thành quét phạm vi, phương pháp tam giác hoạt động, phương pháp tiêu điểm phân tán, v.v. Trên thực tế, phương pháp tiêu điểm phân tán là một phương pháp quét và phân loại, vì nó hiện đang được sử dụng rộng rãi trong ngành sản xuất như điện thoại di động và màn hình phẳng nên nó được giới thiệu riêng ở đây.

1. Quét và phân loại

Đo khoảng cách quét là sử dụng chùm tia chuẩn trực để quét toàn bộ bề mặt mục tiêu thông qua phép đo khoảng cách một chiều để đạt được phép đo 3D. Các phương pháp quét khác nhau điển hình là:

1, thời gian một điểm của phương pháp bay, chẳng hạn như phạm vi điều chế tần số sóng liên tục (FM-CW), phạm vi xung (LiDAR), v.v.;

2, giao thoa kế tán xạ laser, chẳng hạn như giao thoa kế dựa trên nguyên tắc giao thoa đa bước sóng, giao thoa ba chiều, giao thoa đốm sáng trắng, v.v.

3, phương pháp tiêu điểm, chẳng hạn như tiêu điểm phân tán, tự lấy nét, v.v.

Trong phương pháp quét 3D phạm vi một điểm, thời gian một điểm của phương pháp bay phù hợp để quét ở khoảng cách xa và độ chính xác của phép đo thấp, thường ở mức milimét. Các phương pháp quét điểm đơn khác là: giao thoa laser điểm đơn, phương pháp đồng tiêu và phương pháp tam giác hoạt động laser điểm đơn, độ chính xác của phép đo cao hơn, nhưng trước đây có yêu cầu cao về môi trường; Độ chính xác quét đường vừa phải, hiệu quả cao. Phương pháp tam giác laser chủ động và phương pháp tiêu điểm phân tán phù hợp hơn để thực hiện phép đo 3D ở cuối cánh tay robot.

2. Tam giác hoạt động

Phương pháp tam giác chủ động dựa trên nguyên lý tam giác, sử dụng các chùm tia chuẩn trực, một hoặc nhiều chùm phẳng để quét bề mặt mục tiêu để hoàn thành phép đo 3D.

Chùm tia thường thu được theo các cách sau: chuẩn trực laser, giãn nở chùm góc hình trụ hoặc hình trụ tứ giác, ánh sáng không kết hợp (như ánh sáng trắng, nguồn sáng LED) qua lỗ, chiếu khe (cách tử) hoặc nhiễu xạ ánh sáng kết hợp.

Tam giác hoạt động có thể được chia thành ba loại: quét một điểm, quét một dòng và quét nhiều dòng. Hầu hết các sản phẩm hiện được thương mại hóa để sử dụng ở phần cuối của cánh tay robot là máy quét một điểm và một dòng.

Trong phương pháp quét nhiều dòng, rất khó để xác định số cực của rìa một cách đáng tin cậy. Để xác định chính xác số sọc, hình ảnh xen kẽ tốc độ cao của hai bộ mặt phẳng quang học thẳng đứng thường được sử dụng, cũng có thể thực hiện quét "FlyingTriangulation". Quá trình quét và tái tạo ba chiều được thể hiện trong hình dưới đây. Chế độ xem 3D thưa thớt được tạo bằng hình ảnh hoạt nghiệm chiếu nhiều dòng và một số chuỗi chế độ xem 3D được tạo bằng cách quét chiếu rìa dọc và ngang. Sau đó, một mô hình bề mặt 3D hoàn chỉnh và nhỏ gọn với độ phân giải cao sẽ được tạo ra bằng cách khớp hình ảnh 3D.

3. Phương pháp tiêu điểm tán sắc

Tiêu điểm phân tán dường như có thể quét và đo các vật thể mờ và trong suốt thô và mịn, chẳng hạn như gương phản chiếu, bề mặt kính trong suốt, v.v., và hiện đang phổ biến rộng rãi trong lĩnh vực phát hiện ba chiều của tấm ốp điện thoại di động.

Có ba loại quét tiêu điểm phân tán: quét phạm vi tuyệt đối một chiều một điểm, quét mảng đa điểm và quét dòng liên tục. Hình dưới đây liệt kê hai loại ví dụ về quét phạm vi tuyệt đối và quét dòng liên tục tương ứng. Trong số đó, quét dòng liên tục cũng là quét mảng, nhưng mảng có mạng lưới nhiều hơn và dày đặc hơn.

Trong các sản phẩm thương mại, cảm biến tiêu điểm quang phổ quét nổi tiếng hơn là STILMPLS180 của Pháp, sử dụng 180 điểm mảng để tạo thành một đường có chiều dài đường tối đa là 4,039mm (điểm đo 11,5 chiều, khoảng cách điểm tới điểm là 22,5 chiều). Một sản phẩm khác là FOCALSPECUULA của Phần Lan. Kỹ thuật phân tán tam giác đồng tiêu được áp dụng.

3. Hình ảnh 3D với phép chiếu ánh sáng có cấu trúc

Hình ảnh 3D chiếu ánh sáng có cấu trúc hiện là phương pháp chính để nhận thức hình ảnh 3D của robot, hệ thống hình ảnh ánh sáng có cấu trúc bao gồm một số máy chiếu và máy ảnh, các dạng cấu trúc thường được sử dụng là: máy chiếu đơn-máy ảnh đơn, máy ảnh đôi máy chiếu đơn, máy chiếu đơn nhiều máy chiếu camera, camera đơn - máy chiếu đôi và camera đơn - nhiều máy chiếu và các dạng kết cấu điển hình khác.

Nguyên tắc làm việc cơ bản của hình ảnh 3D của phép chiếu ánh sáng có cấu trúc là máy chiếu chiếu các mẫu ánh sáng có cấu trúc cụ thể tới các đối tượng mục tiêu và hình ảnh được điều chế bởi mục tiêu sẽ được camera ghi lại, sau đó thu được thông tin 3D của đối tượng mục tiêu thông qua hình ảnh. mô hình xử lý và trực quan.

Các máy chiếu thông dụng chủ yếu có các loại sau: trình chiếu tinh thể lỏng (LCD), trình chiếu điều chế ánh sáng kỹ thuật số (DLP: như thiết bị micromirror kỹ thuật số (DMD)), trình chiếu trực tiếp mô hình LED laser.

Theo số lượng phép chiếu ánh sáng có cấu trúc, hình ảnh 3D của phép chiếu ánh sáng có cấu trúc có thể được chia thành phương pháp 3D chiếu đơn và phương pháp 3D chiếu nhiều lần.

1. Hình ảnh chiếu đơn

Ánh sáng có cấu trúc chiếu đơn chủ yếu được thực hiện bằng mã hóa ghép kênh không gian và mã hóa ghép kênh tần số. Các dạng mã hóa phổ biến là mã màu, chỉ số màu xám, mã hóa hình dạng hình học và các điểm ngẫu nhiên.

Hiện tại, trong ứng dụng hệ thống mắt tay robot, trong những trường hợp độ chính xác của phép đo 3D không cao, chẳng hạn như xếp hàng, dỡ hàng, nắm 3D, v.v., việc chiếu các điểm giả ngẫu nhiên để thu được kết quả là phổ biến hơn. Thông tin 3D của mục tiêu. Nguyên lý hình ảnh 3D được thể hiện trong hình dưới đây.

2. Hình ảnh chiếu nhiều lần

Phương pháp 3D đa chiếu chủ yếu được thực hiện bằng mã hóa ghép kênh thời gian. Các dạng mã hóa mẫu thường được sử dụng là: mã hóa nhị phân, mã hóa dịch pha đa tần số τ35 và mã hóa hỗn hợp (chẳng hạn như rìa dịch chuyển mười pha mã xám).

Nguyên tắc cơ bản của hình ảnh 3D chiếu rìa được thể hiện trong hình bên dưới. Các mẫu ánh sáng có cấu trúc được tạo ra bởi máy tính hoặc được tạo ra bởi một thiết bị quang học đặc biệt, được chiếu lên bề mặt của vật thể đo thông qua hệ thống chiếu quang học, sau đó các thiết bị thu nhận hình ảnh (như camera CCD hoặc CMOS) được sử dụng để thu thập hình ảnh ánh sáng có cấu trúc bị biến dạng được điều chế bởi bề mặt của vật thể. Thuật toán xử lý ảnh được sử dụng để tính toán mối quan hệ tương ứng giữa từng pixel trong ảnh và điểm trên đường viền đối tượng. Cuối cùng, thông qua mô hình cấu trúc hệ thống và công nghệ hiệu chuẩn, thông tin đường viền ba chiều của đối tượng đo được tính toán.

Trong các ứng dụng thực tế, phép chiếu mã Gray, phép chiếu rìa dịch pha hình sin hoặc công nghệ 3D phép chiếu hỗn hợp dịch pha hình sin mười mã Gray thường được sử dụng.

3. Hình ảnh lệch

Đối với bề mặt gồ ghề, ánh sáng có cấu trúc có thể được chiếu trực tiếp lên bề mặt vật thể để đo hình ảnh trực quan. Tuy nhiên, để đo 3D các bề mặt nhẵn có độ phản xạ lớn và các vật thể trong gương, phép chiếu ánh sáng có cấu trúc không thể chiếu trực tiếp lên bề mặt được đo và phép đo 3D cũng yêu cầu sử dụng công nghệ làm lệch gương, như trong hình sau.

Trong sơ đồ này, các vân không được chiếu trực tiếp lên đường viền đo được mà được chiếu lên màn hình tán xạ hoặc màn hình LCD được sử dụng thay cho màn hình tán xạ để hiển thị trực tiếp các vân. Máy ảnh dò ​​lại đường đi của ánh sáng qua bề mặt sáng, thu được thông tin rìa được điều chế bằng sự thay đổi độ cong của bề mặt sáng, sau đó giải quyết cấu hình 3D.

4. Hình ảnh 3D tầm nhìn nổi

Stereovision theo nghĩa đen đề cập đến nhận thức về cấu trúc ba chiều bằng một hoặc cả hai mắt và thường đề cập đến việc tái tạo cấu trúc 3D hoặc thông tin chiều sâu của đối tượng mục tiêu bằng cách thu được hai hoặc nhiều hình ảnh từ các góc nhìn khác nhau.

Các tín hiệu thị giác về nhận thức chiều sâu có thể được chia thành các tín hiệu thị giác và tín hiệu hai mắt (thị sai hai mắt). Hiện tại, 3D lập thể có thể đạt được thông qua thị giác một mắt, thị giác hai mắt, thị giác đa mắt, hình ảnh 3D trường ánh sáng (mắt ghép điện tử hoặc camera mảng).

1. Hình ảnh thị giác bằng một mắt

Các tín hiệu nhận biết độ sâu bằng một mắt thường bao gồm phối cảnh, chênh lệch tiêu cự, hình ảnh đa tầm nhìn, vùng phủ sóng, bóng tối, thị sai chuyển động, v.v. Trong tầm nhìn của robot cũng có thể sử dụng gương 1 và các hình dạng khác từX10 và các phương pháp khác để đạt được.

2. Hình ảnh thị giác hai mắt

Các manh mối trực quan về nhận thức độ sâu bằng hai mắt là: vị trí hội tụ của mắt và thị sai hai mắt. Trong thị giác máy, hai camera được sử dụng để thu được hai hình ảnh chế độ xem từ hai điểm chế độ xem đến cùng một cảnh mục tiêu, sau đó thị sai của cùng một điểm trong hai hình ảnh chế độ xem được tính toán để thu được thông tin độ sâu 3D của cảnh mục tiêu. Quá trình tính toán hình ảnh lập thể hai mắt điển hình bao gồm bốn bước sau: hiệu chỉnh biến dạng hình ảnh, hiệu chỉnh cặp hình ảnh âm thanh nổi, đăng ký hình ảnh và tính toán bản đồ thị sai chiếu lại tam giác