เพิ่มความเร็วการออกแบบระบบจดจำภาพด้วย MPU ซีรี่ส์ Renesas RZ/V2

ในขณะที่การจดจำภาพระดับเอดจ์กำลังกลายเป็นคุณลักษณะที่สำคัญมากขึ้นเรื่อย ๆ ในผลิตภัณฑ์จำนวนมาก และมีการนำแมชชีนเลิร์นนิง (ML) และปัญญาประดิษฐ์ (AI) ไปใช้งานที่หลากหลาย ปัญหาที่นักพัฒนาต้องเผชิญคือการมองเห็นที่ใช้ ML/AI อาจต้องใช้พลังการประมวลผลเพื่อเรียกใช้อัลกอริธึมการจดจำมากกว่าที่ใช้ในการใช้งานที่จำกัดพลังงาน นอกจากนั้นจะมีค่าใช้จ่ายที่เพิ่มมากยิ่งขึ้น หากต้องการโซลูชันการจัดการระบายความร้อนที่มีราคาแพง

เป้าหมายของ ML/AI ระดับเอดจ์คือการหาแนวทางสถาปัตยกรรมที่เหมาะสมที่สุดที่จะปรับสมดุลระหว่างประสิทธิภาพและพลัง ในขณะเดียวกันก็ให้ระบบนิเวศซอฟต์แวร์ที่แข็งแกร่งสำหรับการพัฒนาแอปพลิเคชัน

เมื่อคำนึงถึงเงื่อนไขเหล่านี้ บทความนี้จะแนะนำวิธีแก้ปัญหาในโดยใช้ไมโครโปรเซสเซอร์ (MPU) ของ Renesas Electronics ซีรี่ส์ RZ/V2 ที่มีตัวเร่งฮาร์ดแวร์ AI ในตัว บทความจะแสดงให้เห็นว่า MPU สามารถแก้ปัญหาหลายประการที่นักออกแบบต้องเผชิญได้อย่างไร แทนที่จะใช้งานไมโครคอนโทรลเลอร์ (MCU) หรือหน่วยประมวลผลกราฟิกระดับไฮเอนด์ (GPU) พร้อมอธิบายวิธีที่นักออกแบบสามารถเริ่มออกแบบระบบการรู้จำด้วยภาพโดยใช้ซีรี่ส์ RZ/V2 และ "เคล็ดลับและคำแนะนำ" บางอย่างเพื่อทำให้กระบวนการราบรื่น

ข้อมูลเบื้องต้นเกี่ยวกับ MPU ซีรีส์ RZ/V2

ซีรีส์ RZ/V2 เป็นโซลูชันที่ปลดล็อกความสามารถมากมายสำหรับนักพัฒนาโดยใช้ไมโครโปรเซสเซอร์แบบสามคอร์ ไมโครโปรเซสเซอร์ซีรีส์ RZ/V2L ประกอบด้วยโปรเซสเซอร์ Arm Cortex-A55 สองตัวทำงานที่ 1.2 กิกะเฮิรตซ์ (GHz) และคอร์ไมโครคอนโทรลเลอร์แบบเรียลไทม์ (Arm® Cortex®-M33) ที่ทำงานที่ 200 เมกะเฮิรตซ์ (MHz) นอกจากนี้ ชิ้นส่วนในซีรีส์ยังมี GPU ที่ใช้โปรเซสเซอร์มัลติมีเดีย Arm Mali-G31 พร้อมคำสั่ง NEON คำสั่งเดียวหลายข้อมูล (SIMD) การรวมแกนประมวลผลทั้งสามนี้เข้ากับโปรเซสเซอร์มัลติมีเดียทำให้เกิดโซลูชันที่รอบด้านสำหรับนักพัฒนาที่ทำงานเกี่ยวกับระบบจดจำด้วยการมองเห็น

ปัจจุบันมี MPU สองคลาสในซีรีย์ RZ/V2 คือซีรีส์ RZ/V2L และ RZ/V2M โดย RZ/V2L มีตัวประมวลผลสัญญาณภาพอย่างง่าย (ISP) กราฟิกเอนจิน 3 มิติ และชุดอุปกรณ์ต่อพ่วงที่ใช้งานได้หลากหลาย และ RZ/V2M มีการเพิ่ม ISP ประสิทธิภาพสูงที่รองรับความละเอียด 4K ที่ 30 เฟรมต่อวินาที (fps) บทความนี้เน้นที่กลุ่ม RZ/V2L ซึ่งประกอบด้วย R9A07G054L23GBG และ R9A07G054L24GBG ข้อแตกต่างที่สำคัญระหว่างสองชิ้นส่วนนี้คือ R9A07G054L23GBG มีขนาด 15 mm² , แพ็คเกจ 456-LFBGA ในขณะที่ R9A07G054L24GBG มาในขนาด 21 mm.² , แพ็คเกจ 551-LFBGA

แผนภาพซีรีย์ RZ/V2L แสดงในรูปที่ 1 นอกจากแกนประมวลผลสามคอร์แล้ว MPU ยังมีอินเทอร์เฟซสำหรับอุปกรณ์ต่อพ่วงมาตรฐาน เช่น หน่วยความจำ DDR3/DDR4, SPI, USB, อีเธอร์เน็ต, I²C, CAN, SCI, GPIO และตัวแปลงอนาล็อกเป็นดิจิตอล (ADC) นอกจากนี้ ชิ้นส่วนต่าง ๆ ยังรวมถึงความสามารถด้านความปลอดภัย เช่น การบูตที่ปลอดภัย เอนจินการเข้ารหัส และตัวสร้างตัวเลขสุ่มที่แท้จริง (TRNG) สิ่งที่ทำให้ซีรีส์ MPU แตกต่างออกไปคือตัวเร่ง AI ที่กำหนดค่าใหม่แบบไดนามิก (DRP)

รูปที่ 1: MPU ซีรีส์ RZ/V2L รองรับอินเทอร์เฟซอุปกรณ์ต่อพ่วง ความปลอดภัย และตัวเลือกการประมวลผลวิดีโอที่หลากหลาย คุณลักษณะที่สำคัญสำหรับแอปพลิเคชันการจดจำด้วยภาพคือตัวเร่ง DRP-AI (แหล่งที่มารูปภาพ: Renesas Electronics Corporation)

ตัวเร่งลับ DRP-AI

ตัวเร่ง DRP-AI เป็นความลับที่ช่วยให้ MPU ซีรีส์ RZ/V2L ดำเนินการการจดจำภาพได้อย่างรวดเร็ว โดยใช้พลังงานน้อยลงและมีลักษณะความร้อนต่ำลง DRP-AI ประกอบด้วยสององค์ประกอบ: DRP และ AI Multiply And Accumulate (MAC) ซึ่งสามารถประมวลผลการดำเนินงานในเครือข่ายแบบ Convolutional และเลเยอร์ที่รวมกันทั้งหมดได้อย่างมีประสิทธิภาพโดยปรับการไหลของข้อมูลให้เหมาะสมด้วยสวิตช์ภายใน (รูปที่ 2)

ฮาร์ดแวร์ DRP-AI ใช้สำหรับการประมวลผลการคาดการณ์ของ AI โดย DRP-AI ใช้เทคโนโลยี Dynamic Reconfigurable อันเป็นเอกลักษณ์และพัฒนาโดย Renesas ซึ่งมีความยืดหยุ่น การประมวลผลความเร็วสูง และประสิทธิภาพด้านพลังงาน นอกจากนี้ DRP-AI Translator ซึ่งเป็นเครื่องมือซอฟต์แวร์ฟรี ยังช่วยให้ผู้ใช้สามารถใช้โมเดล AI ที่ปรับมาอย่างเหมาะสมเพื่อเพิ่มประสิทธิภาพอย่างรวดเร็ว เอาต์พุตไฟล์เรียกทำงานหลายรายการจาก DRP-AI Translator สามารถบันทึกลงในหน่วยความจำภายนอกได้ การใช้งานสามารถสลับโมเดล AI ไปมาระหว่างโมเดลแบบไดนามิกระหว่างรันไทม์

DRP สามารถประมวลผลกิจกรรมที่ซับซ้อนได้อย่างรวดเร็ว เช่น การประมวลผลภาพล่วงหน้าและเลเยอร์การรวมโมเดล AI โดยการเปลี่ยนแปลงการกำหนดค่าฮาร์ดแวร์แบบไดนามิก

รูปที่ 2: DRP-AI ประกอบด้วย DRP และ AI-MAC ซึ่งทำงานร่วมกันได้อย่างมีประสิทธิภาพในเครือข่ายแบบ Convolutional และเลเยอร์ที่รวมกันทั้งหมด โดยการเพิ่มประสิทธิภาพการไหลของข้อมูลด้วยสวิตช์ภายใน (แหล่งที่มารูปภาพ: Renesas Electronics Corporation)

DRP-AI Translator

เครื่องมือ DRP-AI Translator สร้างไฟล์เรียกทำงานที่ปรับ DRP-AI ให้เหมาะสมจากโมเดล ONNX ที่ผ่านการเทรน โดยไม่ขึ้นกับเฟรมเวิร์ก AI ใด ๆ ตัวอย่างเช่น นักพัฒนาสามารถใช้ PyTorch, TensorFlow หรือเฟรมเวิร์กการสร้างแบบจำลอง AI อื่น ๆ ได้ หากสร้างเอาต์พุตโมเดล ONNX เมื่อโมเดลได้รับการเทรนแล้ว โมเดลจะถูกป้อนเข้าไปใน DRP-AI Translator ซึ่งจะสร้างไฟล์สั่งการ DRP และ AI-MAC (รูปที่ 3)

รูปที่ 3: โมเดล AI ได้รับการเทรนโดยใช้เฟรมเวิร์กที่เข้ากันได้กับ ONNX จากนั้นโมเดล ONNX จะถูกป้อนเข้าไปใน DRP-AI Translator ซึ่งจะสร้างไฟล์สั่งการ DRP และ AI-MAC (แหล่งที่มารูปภาพ: Renesas Electronics Corporation)

DRP-AI Translator มีจุดประสงค์หลักสามประการ:

1. การจัดกำหนดการแต่ละการดำเนินการเพื่อประมวลผลแบบจำลอง AI
2. การซ่อนโอเวอร์เฮด เช่น เวลาเข้าถึงหน่วยความจำที่เกิดขึ้นระหว่างการเปลี่ยนแปลงของการดำเนินการแต่ละครั้งในกำหนดการ
3. การปรับโครงสร้างกราฟเครือข่าย

Translator จะจัดสรรแต่ละกระบวนการของแบบจำลอง AI ให้กับ AI-MAC และ DRP โดยอัตโนมัติ ทำให้ผู้ใช้สามารถใช้ DRP-AI ได้อย่างง่ายดายโดยไม่ต้องอาศัยความเชี่ยวชาญด้านฮาร์ดแวร์ นักพัฒนาสามารถโทรออกผ่านไดรเวอร์ที่ให้มาเพื่อเรียกใช้โมเดล AI ประสิทธิภาพสูงแทน นอกจากนี้ DRP-AI Translator ยังสามารถอัปเดตอย่างต่อเนื่องเพื่อรองรับโมเดล AI ที่พัฒนาขึ้นใหม่โดยไม่ต้องเปลี่ยนฮาร์ดแวร์

เคสการใช้งานระบบและกระบวนการ

กระบวนการทั่วไปสำหรับการใช้ RZ/V2L MPU เพื่อฝึกและปรับใช้การจดจำภาพแสดงไว้ในรูปที่ 4 โดยทั่วไปวิศวกรสามารถรับชุดข้อมูลและใช้เพื่อเทรนโมเดลการจดจำภาพได้ ไม่ว่าพวกเขาจะพยายามระบุภาพแมว ผลิตภัณฑ์ในตะกร้าสินค้า หรือชิ้นส่วนที่เสียหายในสายการผลิต กระบวนการฝึกอบรมจะเกิดขึ้นโดยใช้กรอบงาน AI ที่คุ้นเคย เมื่อโมเดลได้รับการเทรนแล้ว โมเดลจะถูกแปลงเป็นรูปแบบ ONNX และป้อนลงใน DRP-AI Translator ซึ่งจะส่งออกโค้ดอ็อบเจ็กต์ที่สามารถดำเนินการได้บนฮาร์ดแวร์ DRP-AI ข้อมูลจากกล้อง ตัววัดความเร่ง หรือเซ็นเซอร์อื่น ๆ จะถูกสุ่มตัวอย่างและป้อนเข้าในโปรแกรมสั่งการ ซึ่งให้ผลลัพธ์ของการคาดการณ์

รูปที่ 4: ขั้นตอนการเทรนและรันอัลกอริธึมการจดจำภาพบน RZ/V2L MPU (แหล่งที่มารูปภาพ: Renesas Electronics Corporation)

มีหลายวิธีที่วิศวกรสามารถใช้ RZ/V2L MPU ในการออกแบบได้ (ภาพที่ 5) วิธีแรกสามารถใช้ RZ/V2L MPU แบบสแตนด์อโลน โดยที่ RZ/V2L เป็นโปรเซสเซอร์เพียงตัวเดียวในระบบ ด้วยสามคอร์และฮาร์ดแวร์เร่งความเร็ว AI อาจไม่จำเป็นต้องใช้พลังประมวลผลเพิ่มเติม

วิธีที่สองคือกรณีใช้ RZ/V2L เป็นตัวประมวลผล AI ในระบบที่ครอบคลุมมากขึ้น ในการใช้งานนี้ RZ/V2L จะรันการคาดการณ์ AI และส่งคืนผลลัพธ์ไปยังโปรเซสเซอร์หรือระบบอื่นที่ดำเนินการกับผลลัพธ์นั้น โดยการใช้งานที่เลือกจะขึ้นอยู่กับปัจจัยต่าง ๆ เช่น ต้นทุน สถาปัตยกรรมระบบโดยรวม ประสิทธิภาพ และข้อกำหนดการตอบสนองแบบเรียลไทม์

รูปที่ 5: กรณีการใช้งานสองกรณีสำหรับ RZ/V2L MPU คือการใช้แบบสแตนด์อโลน หรือเป็นตัวประมวลผล AI ที่ใช้ในระบบที่ครอบคลุมมากขึ้น (แหล่งที่มารูปภาพ: Renesas Electronics Corporation)

ตัวอย่างการใช้งานจริง

มีตัวอย่างการใช้งานหลายตัวอย่างที่สามารถปรับใช้เทคโนโลยีการจดจำภาพได้ ตัวอย่างที่น่าสนใจคือในซูเปอร์มาร์เก็ต ทุกวันนี้ เมื่อชำระเงินที่ร้าน พนักงานหรือลูกค้ามักจะสแกนสินค้าทุกรายการในรถเข็น ตัวอย่างการใช้งานที่น่าสนใจคือการตรวจจับผลิตภัณฑ์ที่เคลื่อนผ่านสายพานลำเลียงโดยใช้การจดจำภาพและคิดเงินโดยอัตโนมัติ

สามารถสร้างต้นแบบได้โดยใช้กล้อง CMOS แบบธรรมดาและบอร์ดประเมินผล RTK9754L23S01000BE ของ Renesas (ภาพที่ 6) บอร์ดพัฒนา RZ/V2L แบบฝังตัวมีระบบบนโมดูล (SOM) และบอร์ดผู้ให้บริการที่ช่วยให้นักพัฒนาสามารถเริ่มต้นใช้งานได้อย่างรวดเร็ว นอกจากนี้ บอร์ดพัฒนายังรองรับ Linux พร้อมด้วยเครื่องมือต่าง ๆ เช่น DRP-AI Translator

รูปที่ 6: บอร์ดพัฒนา RZ/V2L แบบฝังมี SOM และบอร์ดผู้ให้บริการที่ช่วยให้นักพัฒนาสามารถเริ่มต้นใช้งานได้อย่างรวดเร็ว (แหล่งที่มารูปภาพ: Renesas Electronics Corporation)

ภาพรวมการดำเนินงานที่จำเป็นในการรับข้อมูลภาพและสร้างผลลัพธ์ AI สามารถดูได้ในรูปที่ 7 ในตัวอย่างการใช้งานนี้ ภาพของสายพานลำเลียงถูกถ่ายโดยใช้เซ็นเซอร์ CMOS ผ่าน ISP แบบออนบอร์ด ถัดไป รูปภาพจะถูกบันทึกลงในหน่วยความจำและป้อนลงในเอนจิน DRP-AI สุดท้ายเอนจิน DRP-AI จะทำการคาดการณ์และให้ผลลัพธ์ AI ตัวอย่างเช่น ผลที่ได้อาจเป็นกล้วย แอปเปิ้ล หรือผลไม้อื่น ๆ

ผลลัพธ์มักมาพร้อมกับระดับความเชื่อมั่น 0 ถึง 1 ตัวอย่างเช่น ความเชื่อมั่น 0.90 หมายความว่า AI มั่นใจว่าตรวจพบแอปเปิ้ล ในทางกลับกัน ความเชื่อมั่นที่ 0.52 อาจหมายความว่า AI คิดว่าเป็นแอปเปิ้ล แต่ไม่แน่นอน ไม่ใช่เรื่องแปลกที่จะนำผลลัพธ์ AI และค่าเฉลี่ยจากตัวอย่างหลาย ๆ ตัวอย่างเพื่อเพิ่มโอกาสของผลลัพธ์ที่ถูกต้อง

รูปที่ 7: บอร์ดพัฒนาแบบฝังตัว RZ/V2L ใช้เพื่อเรียกใช้การคาดการณ์ AI ที่จดจำผลไม้ต่าง ๆ บนสายพานลำเลียง รูปนี้แสดงให้เห็นถึงขั้นตอนที่จำเป็นในการรับภาพและสร้างผลลัพธ์ AI (แหล่งที่มารูปภาพ: Renesas Electronics Corporation)

สุดท้าย ในตัวอย่างนี้ กล่องจะล้อมรอบวัตถุที่ตรวจพบพร้อมแสดชื่อสิ่งของและระดับความเชื่อมั่น (ภาพที่ 8)

รูปที่ 8: ตัวอย่างเอาต์พุตจาก RZ/V2L ในการตรวจจับผักและผลไม้บนสายพานลำเลียง (แหล่งที่มารูปภาพ: Renesas Electronics Corporation)

เคล็ดลับและคำแนะนำในการเริ่มต้นใช้งาน RZ/V2L

นักพัฒนาที่ต้องการเริ่มต้นใช้งานแมชชีนเลิร์นนิงบน Renesas RZ/V2L MPU จะพบว่าพวกเขามีทรัพยากรมากมายในการเริ่มต้นใช้งาน ต่อไปนี้คือ "เคล็ดลับและคำแนะนำ" ที่นักพัฒนาซอฟต์แวร์ควรทราบเพื่อให้การพัฒนาง่ายขึ้นและเร็วขึ้น:

• เริ่มต้นด้วยบอร์ดพัฒนาและตัวอย่างที่มีอยู่เพื่อให้เข้าใจถึงการใช้งานและการรันแอปพลิเคชัน
• หากจำเป็นต้องดำเนินการคาดการณ์หลายโมเดล ให้บันทึกโมเดลที่เรียกใช้งานได้ไปยังหน่วยความจำภายนอก และใช้ความสามารถ DRP-AI เพื่อสลับไปมาระหว่างโมเดลต่าง ๆ ได้อย่างรวดเร็ว
• ตรวจสอบเอกสารและวิดีโอที่พบในไซต์ RZ/V Embedded AI MPU ของ Renesas
• ดาวน์โหลด DRP-AI Translator
• ดาวน์โหลดแพ็คเกจสนับสนุน RZ/V2L DRP-AI

นักพัฒนาซอฟต์แวร์ที่ปฏิบัติตาม "เคล็ดลับและคำแนะนำ" เหล่านี้จะช่วยประหยัดเวลาได้ไม่น้อยเมื่อเริ่มต้น

สรุป

มีการใช้งาน ML และ AI ในระดับเอดจ์เพิ่มมากขึ้น โดยทำให้ความสามารถในการจดจำวัตถุในแบบเรียลไทม์มีความสำคัญมากขึ้นเรื่อย ๆ สำหรับนักออกแบบ ปัญหาคือการค้นหาสถาปัตยกรรมที่เหมาะสมเพื่อใช้งาน AI/ML ที่ระดับเอดจ์ โดย GPU มักจะใช้พลังงานสูง ในขณะที่ MCU อาจมีพลังประมวลผลไม่เพียงพอ

ดังที่แสดงไว้ข้างต้น MPU ซีรีส์ Renesas RZ/V ที่มี DRP-AI มีประโยชน์หลายประการ เช่น AI ที่เร่งด้วยฮาร์ดแวร์ พร้อมด้วยชุดเครื่องมือและการสนับสนุนการสร้างต้นแบบจำนวนมาก