โครงการวิจัยเรื่อง การปรับภาพวีดีโอให้เสถียรสำหรับกล้องบนอากาศยานขนาดเล็ก

Abstract

ปัจจุบัน มีการติดตั้งกล้องบนอากาศยานเพื่อจับภาพอย่างแพร่หลาย อย่างไรก็ตาม เมื่ออากาศยานอยู่ในอากาศและมีการหมุนหรือโคลง จากแรงลม เป็นต้น ภาพจึงแกว่งไปตามการเคลื่อนที่ของอากาศยาน ทำให้ให้ผู้ชมเวียนศีรษะ/บางท่านถึงขนาดอาเจียน ในการแก้ไข มักมีการติดตั้ง Gimbal บนอากาศยาน เพื่อแก้ปัญหาการเอียงของภาพตามเครื่องบินเมื่อเอียงตัวโดย Gimbal จะทำหน้าที่หมุนกล้องให้อยู่ในมุมเดิมตลอด (เทียบกับแกนโลก) แต่วิธีนี้จะเป็นการเพิ่มน้ำหนักโดยไม่จำเป็น โดยเฉพาะสำหรับ UAV ขนาดเล็กทำให้เวลาในการทำภารกิจลดลง รวมทั้ง Gimbal ที่มีขนาดใหญ่ระดับนึงก็ไม่สามารถติดตั้งบนอากาศยานขนาดเล็กได้ และ Gimbal ขนาดเล็กก็ไม่สามารถติดตั้งกล้องขนาดใหญ่ที่มีความละเอียดสูงได้ จากกรณีข้างต้น ทำให้การจับภาพวิดีโอด้วยอากาศยานขนาดเล็ก ที่แม้จะมีประโยชน์ในหลายกรณี นั้น ได้รูปที่หมุนไปมา เนื่องจากความไม่เสถียรของตัวอากาศยานขนาดเล็ก ดังที่ทางนักวิจัยของสทป.กล่าวว่า ภาพดังกล่าวทำให้ผู้ชมรู้สึกปวดศีรษะ บางท่านถึงกับอาเจียนได้ นอกจากนี้ ทางคณะวิจัยยังมองว่า รูปที่ไม่เสถียร เอียงไปมา ย่อมยากต่อการประมวลผลภาพด้วยคอมพิวเตอร์ต่างๆ (ขึ้นอยู่กับแอพพลิเคชัน) เช่น การต่อภาพวิดีโอแต่ละเฟรมเข้าเป็นแผนที่ เป็นต้น ทางคณะวิจัยจึงของเสนอกระบวนการวิทัศน์คอมพิวเตอร์ที่จะมาใช้ปรับมุมเอียงแทนการติดตั้ง Gimbal จริงๆ เพื่อปรับรูปที่เอียงให้เป็นภาพมุมบนเพื่อแก้ปัญหาดังกล่าวข้างต้น จึงขอเรียกวิธีนี้ว่า Software Gimbal นอกจากนี้ เมื่อพิจารณาโปรแกรมปรับภาพให้เสถียรที่มีในท้องตลาดด้วยเทคนิคทางวิทัศน์คอมพิวเตอร์ โปรแกรมส่วนใหญ่จะใช้อัลกอริทึมบิดภาพเช่นกัน เช่น Direct Linear Transform (DLT) และ Homography นอกจากนี้ ในความเห็นของทีมงานเราคิดว่าอัลกอริทึมประมาณตำแหน่งและทิศทางอื่นๆก็สามารถใช้ได้เช่นกัน อย่างไรก็ตาม อย่าลืมว่าอัลกอริทึมเหล่านั้นอาศัยกลุ่มจุดที่รู้พิกัดทั้งสิ้น ซึ่งในแอพพลิเคชันที่ใช้ UAV เพื่อการสำรวจนั้นมักไม่มีจุดที่รู้พิกัด หรือแม้มี แต่ตัว UAV เองก็เคลื่อนที่หรือหมุน ซึ่งยากที่จะทำให้จุดที่รู้พิกัดในเฟรมภาพได้ ด้วยเหตุนี้ เราจึงคิดว่าระบบที่พัฒนาขึ้นนี้มีความใหม่

Nowadays, there are various uses of cameras on Unmanned Aerial Vehicles (UAVs) for capturing images/videos. In order to stabilize the pictures, so that they do not make viewers feel nausea, there is a hardware stabilizer called Gimbal. The Gimbal’s functionality is to adjust the rotational angle of a camera to stay fixed with respect to earth axis. However, installation of Gimbal would increase the payload of aerial vehicles, thus, reduces fly time, etc. Besides, Gimbals with big size cannot be used for small UAVs. Furthermore, even we use small-size Gimbals small UAVs, we cannot use high quality cameras which are usually heavy. The previous mentioned issues affect the uses of good cameras on UAVs without Gimbal, which are of great benefits; however, the pictures are too shaky, due to instability of the vehicles itselves. A DTI’s senior researcher even voiced that some viewers even vomit. Furthremore, our group is also considering that: the shaky/rotating pictures are difficult for image processing by computer (depend on applications). For example, mosaicking for map generation, etc. Our team then propose computer vision techniques that could stabilize pictures, without out having to use the actual Gimbal. This process would adjust input images to top view images. Hence, it is called, by us, Software Gimbal. Please be noted that a sequence of images are actually videos. In comparison, there are commercial programs that can stabilize pictures based on computer vision techniques. Most programs use some certain kind of warping algorithm, e.g. Direct Linear Transform (DLT) and Homography. In our opinion, even other highly-robust pose estimation methods are also applicable for warping. Such warping is possible with known fixed points in every scenes. However, in the UAVs application of survey, it is difficult to know find such fixed points in advanced. Moreover the vehicles move/rotate that even know points could be out of scene. In this sense, we believe that our method is unprecedented.