NVIDIA AR SDK เปิดตัวในปลั๊กอิน OBS ยอดนิยม StreamFX ที่ให้การตรวจจับใบหน้าผ่านเว็บแคมมาตรฐาน

NVIDIA ได้เปิดตัวชุดพัฒนาซอฟต์แวร์ Augmented Reality (AR) อย่างเป็นทางการ (SDK) ที่รอคอยอย่างใจจดใจจ่อ ซึ่งได้รับการปรับแต่งมาสำหรับการสตรีมสด การเล่นเกม และแพลตฟอร์มการประชุมทางวิดีโอ เทคโนโลยีนี้ได้เปิดตัวใน StreamFX ซึ่งเป็นปลั๊กอิน OBS ที่ได้รับความนิยมอย่างสูง เทคโนโลยีนี้ให้ความสามารถที่น่าทึ่งบางอย่างรวมถึงการตรวจจับและล็อคใบหน้าและการสร้างตาข่าย 3 มิติของใบหน้าทั้งหมดนี้ใช้เว็บแคมมาตรฐาน

ตอนนี้ NVIDIA ได้เปิดตัว AR SDK สำหรับ Live Streaming ซึ่งนำความสามารถของ Artificial Intelligence (AI) มาใช้กับเครื่องมือการประชุมทางเว็บระยะไกลการสื่อสารและการทำงานร่วมกันที่ได้รับความนิยมมากขึ้นเรื่อย ๆ เทคโนโลยีนี้อ้างว่าช่วยนักเล่นเกมได้เช่นกัน น่าแปลกใจที่ผู้ใช้จะได้รับประโยชน์จากการเพิ่ม AI ด้วยเว็บแคมมาตรฐาน NVIDIA อ้างว่า

NVIDIA AI AR SDK สำหรับสตรีมมิงแบบสดทำงานอย่างไร?

ตามที่คาดไว้ NVIDIA AR SDK หรือที่เรียกว่า NVIDIA RTX Broadcast Engine ใช้ Tensor Cores ที่ทรงพลังและหลากหลายบน NVIDIA RTX GPUs SDK สามารถเปิดใช้งานการติดตามที่รวดเร็วและมีรายงานคุณภาพสูงผ่านเครือข่าย AI บนระบบคลาวด์แบ็กเอนด์ที่เปิดตัวเมื่อปีที่แล้ว NVIDIA อ้างว่าเทคโนโลยีนี้และเครือข่ายสามารถติดตามใบหน้าได้อย่างแม่นยำ การติดตามจุดสังเกตของใบหน้าริมฝีปากตาคิ้วและจมูกด้วย 3 องศาอิสระ และตาข่ายใบหน้าขั้นสูง (การสร้างใบหน้ามนุษย์และศีรษะแบบ 3 มิติขึ้นใหม่) ที่มีอิสระ 6 องศา

NVIDIA AI AR SDK สำหรับ Live Streaming ได้เปิดตัวผ่าน StreamFX ซึ่งเป็นปลั๊กอินยอดนิยมสำหรับ OBS (Open Broadcaster Software) ขณะนี้ AR SDK พร้อมใช้งานบน GitHub แล้ว นักพัฒนาที่สนใจสามารถใช้ประโยชน์ได้โดยดาวน์โหลดจากเว็บไซต์ของ NVIDIA เช่นกัน

StreamFX เวอร์ชันใหม่ใช้ SDK เพื่อสร้างกล้องอัจฉริยะที่จะครอบตัดและซูมเข้าที่ผู้ใช้โดยอัตโนมัติทำให้พวกเขาอยู่กึ่งกลางเฟรมทุกครั้งที่เคลื่อนไหว เมื่อพูดถึงการพัฒนาใหม่ที่น่าตื่นเต้น Michael Fabian ‘Xaymar’ Dirks ผู้เขียน StreamFX กล่าวว่า

“ ฟิลเตอร์ติดตามใบหน้าใหม่ใน StreamFX ต้องใช้คณิตศาสตร์ที่ซับซ้อนและแมชชีนเลิร์นนิงซึ่งจะต้องใช้เวลาหลายเดือนหากไม่ถึงปีในการปรับแต่งเพื่อให้ทำงานบนเครื่องจำนวนมากได้ อย่างไรก็ตามต้องขอบคุณ AR SDK ของ NVIDIA ที่ทำให้เสร็จได้ในเวลาไม่นานและทำงานบนฮาร์ดแวร์ NVIDIA RTX ซึ่งเป็นที่นิยมมากขึ้นเรื่อย ๆ ด้วยตัวเข้ารหัส NVENC H.264 ซึ่งช่วยลดเวลาในการพัฒนาที่จำเป็นลงอย่างมากจากหลายปีเหลือเพียงสองสัปดาห์และไม่มีค่าใช้จ่ายเพิ่มเติมด้วย”

สิ่งที่ Fabian บอกเป็นนัยอย่างชัดเจนก็คือตอนนี้นักพัฒนามี SDK ที่ทรงพลังซึ่ง NVIDIA ได้เปิดตัวเพื่อเพิ่มความสามารถและคุณสมบัติของหลายแพลตฟอร์มด้วย AR ที่ใช้ AI ไม่จำเป็นต้องเพิ่มนักพัฒนาเกมการประชุมสดและแพลตฟอร์มสตรีมมิงแบบสดได้รับการตั้งค่าให้ได้รับอย่างมากจากแพลตฟอร์ม NVIDIA โดยสรุปแล้ว NVIDIA AR SDK ซึ่งนำพลังของ AI มาสู่การสตรีมสดนั้นได้ขยายคุณสมบัติต่อไปนี้ผ่านเว็บแคมมาตรฐาน:

• การติดตามใบหน้าในกล้องเพื่อระบุตัวแบบหนึ่งหรือหลายตัวในภาพ
• การวางซ้อนทรัพย์สินบนบุคคลเพื่อใส่เครื่องแต่งกายหรือเอฟเฟกต์ต่อผู้คน
• การควบคุมตัวละครที่เคลื่อนไหวหรือเกมด้วยการเคลื่อนไหวของใบหน้าและศีรษะ

สิ่งสำคัญคือต้องทราบว่า NVIDIA ได้เสนอ AR SDK เป็นแพลตฟอร์มเบต้าแบบเปิด ซึ่งหมายความชัดเจนว่านักพัฒนาควรคาดหวังข้อบกพร่องบางประการและขอแนะนำให้รายงานสิ่งเดียวกันนี้ต่อ NVIDIA เพื่อปรับแต่งแพลตฟอร์มเพิ่มเติม