Tensor Cores ของ Nvidia สำหรับการเรียนรู้ของเครื่องและ AI - อธิบาย

การ์ดแสดงผล RTX ที่มีชื่อเสียงในขณะนี้ของ Nvidia ประสบความสำเร็จอย่างมากนับตั้งแต่เปิดตัวด้วยซีรีส์ RTX 20 การเปิดตัวแบรนด์ RTX เป็นการเปลี่ยนแปลงทิศทางของ บริษัท และส่งผลให้ตลาดกราฟิกการ์ดโดยรวม Nvidia ได้ติดตามซีรีส์ RTX ชุดแรกอย่างประสบความสำเร็จด้วยการเปิดตัว RTX 30 ซีรีส์ในปี 2020 แม้ว่าการเปิดตัวจะลดลงเล็กน้อยเนื่องจากปัญหาสต็อกและความพร้อมใช้งานทั่วโลก ถึงกระนั้นแบรนด์ RTX ก็ยังคงเป็นผู้นำในตลาดกราฟิกการ์ดในปัจจุบัน

ด้วยการเปิดตัว RTX Nvidia ได้ให้การสนับสนุนสำหรับ Ray Tracing แบบเรียลไทม์ในเกมซึ่งจะเปลี่ยนวิธีการทำงานของแสงในสภาพแวดล้อมของเกม เราได้เปรียบเทียบการแสดงผลทั้งสองรูปแบบแล้ว Ray Tracing และ Rasterized Renderingโดยละเอียดแล้ว Ray Tracing แบบ all-in-all ดูเหมือนจะเป็นหนทางที่จะก้าวไปไกลถึงอนาคตของการเล่นเกม Nvidia ได้รวมคอร์พิเศษเฉพาะสำหรับ Ray Tracing ไว้ในการ์ด RTX ที่เรียกว่า RT Cores ซึ่งจัดการกับภาระงานเรนเดอร์จำนวนมากเมื่อพูดถึง Ray Tracing ในเกม สิ่งที่คนส่วนใหญ่อาจไม่ทราบก็คือ Nvidia ได้เปิดตัวคอร์อีกชุดหนึ่งด้วยการ์ด Turing และ Ampere ที่เรียกว่า Tensor Cores

แกนเทนเซอร์

Tensor Cores เป็นคอร์ทางกายภาพที่ทุ่มเทให้กับการคำนวณที่ซับซ้อนซึ่งเกี่ยวข้องกับงานต่างๆเช่นการเรียนรู้ของเครื่องและ AI Tensor Cores เปิดใช้งานการประมวลผลแบบผสมที่มีความแม่นยำสูงปรับการคำนวณแบบไดนามิกเพื่อเร่งปริมาณงานในขณะที่รักษาความแม่นยำ คอร์เหล่านี้ได้รับการออกแบบมาโดยเฉพาะเพื่อช่วยให้มีภาระงานที่ซับซ้อนเหล่านี้เพื่อให้การคำนวณเหล่านี้มีประสิทธิภาพมากขึ้นรวมถึงบรรเทาคอร์ CUDA หลักของการ์ดที่มีภาระเพิ่มเติม

ในการ์ดสำหรับผู้บริโภคเช่นการ์ด GeForce ที่เน้นการเล่นเกมซึ่งใช้สถาปัตยกรรมทัวริงหรือแอมแปร์ Tensor Cores ไม่ได้มีหน้าที่ในการเรนเดอร์โดยเฉพาะ คอร์เหล่านี้ไม่แสดงเฟรมหรือช่วยในตัวเลขประสิทธิภาพทั่วไปเช่นคอร์ CUDA ปกติหรือคอร์ RT อาจทำได้ การมี Tensor Cores ในการ์ดเหล่านี้เป็นไปตามวัตถุประสงค์ คอร์เหล่านี้รองรับพลังประมวลผลจำนวนมากที่อยู่เบื้องหลังฟีเจอร์ Deep Learning Super Sampling หรือ DLSS ที่ยอดเยี่ยมของ Nvidia เราจะสำรวจ DLSS ในอีกไม่กี่นาที แต่ก่อนอื่นเราต้องระบุว่าการ์ดใดมี Tensor Cores จริงตั้งแต่แรก

ในขณะที่เขียนมีการ์ดเพียงไม่กี่ใบที่มี Tensor Cores อยู่ในนั้น Nvidia ได้รวม Tensor Cores เข้ากับ Nvidia TITAN V เป็นครั้งแรกซึ่งเป็นการ์ดเวิร์กสเตชันที่ใช้สถาปัตยกรรม Volta สถาปัตยกรรมนี้ไม่เคยลดขนาดลงไปที่กราฟิกการ์ดระดับผู้บริโภคดังนั้นสถาปัตยกรรม Volta จึงไม่เคยเห็นใน GeForce GPU หลังจากนั้น Nvidia ได้เปิดตัว Tensor cores ใน Quadro GPUs และที่สำคัญกว่านั้นสำหรับนักเล่นเกมคือการ์ด RTX ที่ใช้สถาปัตยกรรมทัวริงและแอมแปร์ นั่นหมายความว่าการ์ดกราฟิกแบรนด์ RTX ทั้งหมดตั้งแต่ RTX 2060 จนถึง RTX 3090 มี Tensor Cores และสามารถใช้ประโยชน์จากคุณสมบัติ DLSS ของ Nvidia ได้

Tensor Cores ทำงานอย่างไร

แม้ว่ากระบวนการจริงเบื้องหลังการทำงานของ Tensor Core นั้นค่อนข้างซับซ้อน แต่ก็สามารถสรุปได้เป็นสามประเด็น

• Tensor Cores ลดรอบที่ใช้ที่จำเป็นสำหรับการคำนวณการคูณและการบวก 16 เท่า - ในตัวอย่างของฉันสำหรับเมทริกซ์ 32 × 32 จาก 128 รอบเป็น 8 รอบ
• Tensor Cores ลดการพึ่งพาการเข้าถึงหน่วยความจำแบบแบ่งใช้ซ้ำ ๆ ซึ่งจะช่วยประหยัดรอบเพิ่มเติมสำหรับการเข้าถึงหน่วยความจำ
• Tensor Cores เร็วมากจนการคำนวณไม่ใช่ปัญหาคอขวดอีกต่อไป คอขวดเดียวคือการรับข้อมูลไปยัง Tensor Cores

พูดง่ายๆก็คือ Tensor Cores ถูกใช้เพื่อทำการคำนวณที่ซับซ้อนมากซึ่งจะทำให้คอร์อื่น ๆ ที่ไม่ใช่เฉพาะทางเช่นคอร์ CUDA ใช้เวลาในการดำเนินการที่ไม่สมเหตุสมผล เนื่องจากลักษณะเฉพาะของ Tensor Cores มีความยอดเยี่ยมอย่างชัดเจนในการทำงานประเภทนี้ ในความเป็นจริงเมื่อ Volta ปรากฏตัวครั้งแรก Anandtech ได้ทำการทดสอบคณิตศาสตร์โดยใช้การ์ด Nvidia 3 ใบ การ์ด Volta ใหม่การ์ดแสดงผล Pascal ระดับบนสุดและการ์ด Maxwell TITAN รุ่นเก่าทั้งหมดถูกโยนเข้าด้วยกันและนี่คือผลลัพธ์

ในแผนภูมินี้คำว่า precision หมายถึงจำนวนบิตที่ใช้สำหรับตัวเลขทศนิยมในเมทริกซ์ที่มี double เป็น 64, single เป็น 32 และอื่น ๆ ผลลัพธ์นี้แสดงให้เห็นอย่างชัดเจนว่า Tensor Cores นั้นล้ำหน้ากว่าคอร์ CUDA มาตรฐานมากเมื่อพูดถึงการคำนวณเทนเซอร์เฉพาะทางเช่นนี้

แอพพลิเคชั่น

แต่แอพพลิเคชั่นของ Tensor Cores เหล่านี้คืออะไร? เนื่องจาก Tensor Cores สามารถเร่งกระบวนการที่ซับซ้อนเช่นการฝึกอบรม AI ได้มากถึง 10 เท่าจึงมีหลายพื้นที่ใน AI และ Deep Learning ที่ Tensor Cores มีประโยชน์ นี่คือพื้นที่ทั่วไปบางส่วนที่สามารถใช้ Tensor Cores ได้

การเรียนรู้เชิงลึก

พื้นที่หนึ่งที่ Tensor Cores และการ์ดที่มีอยู่จะเป็นประโยชน์อย่างยิ่งคือด้าน Deep Learning นี่เป็นช่องย่อยของการเรียนรู้ของเครื่องซึ่งเกี่ยวข้องกับอัลกอริทึมที่ได้รับแรงบันดาลใจจากโครงสร้างและหน้าที่ของสมองที่เรียกว่าโครงข่ายประสาทเทียม Deep Learning เป็นสาขาวิชาที่ครอบคลุมเนื้อหาวิชาที่น่าสนใจมากมาย หัวใจหลักของการเรียนรู้เชิงลึกคือตอนนี้เรามีคอมพิวเตอร์ที่เร็วเพียงพอและมีข้อมูลเพียงพอที่จะฝึกโครงข่ายประสาทเทียมขนาดใหญ่ได้จริง

นี่คือจุดที่ Tensor Cores เข้ามาในขณะที่กราฟิกการ์ดปกติอาจเพียงพอสำหรับการใช้งานขนาดเล็กหรือในระดับบุคคลกระบวนการนี้ต้องใช้แรงม้าในการคำนวณเฉพาะจำนวนมากเมื่อมีการใช้งานในขนาดที่ใหญ่ขึ้น หากองค์กรเช่น Nvidia ต้องการทำงานเกี่ยวกับ Deep Learning เป็นภาคสนามกราฟิกการ์ดที่มีพลังการคำนวณเฉพาะของ Tensor Cores ก็กลายเป็นสิ่งจำเป็น Tensor Cores จัดการกับเวิร์กโหลดเหล่านี้ได้อย่างมีประสิทธิภาพและรวดเร็วกว่าคอร์ประมวลผลรูปแบบอื่น ๆ ที่มีอยู่ในปัจจุบัน ความจำเพาะนี้ทำให้คอร์เหล่านี้และการ์ดที่มีพวกมันเป็นทรัพย์สินที่มีค่าสำหรับอุตสาหกรรม Deep Learning

ปัญญาประดิษฐ์

เราได้ดูภาพยนตร์ทั้งหมดแล้ว ปัญญาประดิษฐ์ควรจะเป็นสิ่งที่ยิ่งใหญ่ต่อไปในด้านคอมพิวเตอร์และหุ่นยนต์ ปัญญาประดิษฐ์หรือ AI หมายถึงการจำลองความฉลาดของมนุษย์ในเครื่องจักรที่ถูกตั้งโปรแกรมให้คิดเหมือนมนุษย์และดำเนินการที่คล้ายคลึงกัน ลักษณะต่างๆเช่นการเรียนรู้และการแก้ปัญหาก็อยู่ในประเภทของปัญญาประดิษฐ์เช่นกัน

ควรสังเกตว่าปัญญาประดิษฐ์ไม่ได้ จำกัด อยู่แค่ความฉลาดในเครื่องจักรอย่างที่เราเห็นในภาพยนตร์เท่านั้น ความฉลาดประเภทนี้พบได้บ่อยในแอพพลิเคชั่นต่างๆในปัจจุบัน ผู้ช่วยเสมือนของเราในโทรศัพท์มือถือของเรายังใช้ปัญญาประดิษฐ์รูปแบบหนึ่ง ในโลกของเกมศัตรูที่สร้างและควบคุมด้วยคอมพิวเตอร์และ NPC ทั้งหมดก็แสดงปัญญาประดิษฐ์ในระดับหนึ่งเช่นกัน สิ่งใดก็ตามที่มีแนวโน้มเหมือนมนุษย์หรือความแตกต่างทางพฤติกรรมภายในสภาพแวดล้อมจำลองกำลังใช้ปัญญาประดิษฐ์

สาขาปัญญาประดิษฐ์ยังต้องการความเฉพาะเจาะจงในการคำนวณเป็นอย่างมากและเป็นอีกพื้นที่หนึ่งที่กราฟิกการ์ดที่ขับเคลื่อนโดย Tensor Cores มีประโยชน์อย่างแน่นอน Nvidia เป็นหนึ่งในผู้นำของโลกในเรื่อง AI และ Deep Learning และผลิตภัณฑ์ของพวกเขาเช่น Tensor Cores และคุณลักษณะต่างๆเช่น Deep Learning Super Sampling ที่มีชื่อเสียงของ Nvidia เป็นเครื่องพิสูจน์ถึงจุดยืนของพวกเขา

Deep Learning Super Sampling

DLSS เป็นหนึ่งในแอพพลิเคชั่นที่ดีที่สุดของ Tensor Cores ที่พบในอุตสาหกรรม DLSS หรือ Deep Learning Super Sampling เป็นเทคนิคของ Nvidia สำหรับการขยายขนาดอย่างชาญฉลาดซึ่งสามารถถ่ายภาพที่เรนเดอร์ด้วยความละเอียดต่ำและยกระดับเป็นจอแสดงผลที่มีความละเอียดสูงขึ้นจึงให้ประสิทธิภาพมากกว่าการเรนเดอร์เนทีฟ Nvidia นำเทคนิคนี้มาใช้กับกราฟิกการ์ดรุ่นแรกของ RTX DLSS ไม่ได้เป็นเพียงเทคนิคสำหรับการขยายขนาดหรือการสุ่มตัวอย่างแบบธรรมดา แต่ใช้ AI เพื่อเพิ่มคุณภาพของภาพที่แสดงผลด้วยความละเอียดที่ต่ำกว่าอย่างชาญฉลาดเพื่อรักษาคุณภาพของภาพ ตามทฤษฎีแล้วสิ่งนี้สามารถมอบสิ่งที่ดีที่สุดให้กับทั้งสองโลกได้เนื่องจากภาพที่แสดงจะยังคงมีคุณภาพสูงในขณะที่ประสิทธิภาพจะได้รับการปรับปรุงให้ดีขึ้นกว่าการเรนเดอร์เนทีฟ

DLSS ใช้ประโยชน์จากพลังของ AI ในการคำนวณอย่างชาญฉลาดในการแสดงภาพด้วยความละเอียดที่ต่ำลงในขณะที่รักษาคุณภาพสูงสุดไว้ ใช้พลังของการ์ด RTX ใหม่เพื่อทำการคำนวณที่ซับซ้อนจากนั้นใช้ข้อมูลนั้นเพื่อปรับภาพสุดท้ายเพื่อให้ดูใกล้เคียงกับการแสดงผลแบบเนทีฟมากที่สุด คุณลักษณะเด่นของ DLSS คือการอนุรักษ์คุณภาพที่น่าประทับใจอย่างยิ่ง ด้วยการใช้การลดขนาดแบบดั้งเดิมโดยใช้เมนูเกมผู้เล่นสามารถสังเกตเห็นความคมชัดและความคมชัดของเกมได้อย่างแน่นอนหลังจากที่มีการแสดงผลที่ความละเอียดต่ำลง นี่ไม่ใช่ปัญหาในขณะที่ใช้ DLSS แม้ว่าจะแสดงภาพด้วยความละเอียดที่ต่ำกว่า (มักจะมากถึง 66% ของความละเอียดดั้งเดิม) แต่ภาพที่ได้รับการขยายขนาดจะดีกว่าสิ่งที่คุณจะได้รับจากการลดขนาดแบบเดิม ๆ เป็นที่น่าประทับใจมากที่ผู้เล่นส่วนใหญ่ไม่สามารถบอกความแตกต่างระหว่างภาพที่แสดงโดยกำเนิดที่ความละเอียดสูงกว่าและภาพที่ขยายขนาดโดย DLSS

ข้อได้เปรียบที่โดดเด่นที่สุดของ DLSS และปัจจัยจูงใจทั้งหมดที่อยู่เบื้องหลังการพัฒนาคือการเพิ่มประสิทธิภาพอย่างมีนัยสำคัญในขณะที่เปิดใช้งาน DLSS ประสิทธิภาพนี้มาจากข้อเท็จจริงง่ายๆที่ว่า DLSS แสดงผลเกมด้วยความละเอียดที่ต่ำกว่าจากนั้นจึงเพิ่มขนาดโดยใช้ AI เพื่อให้ตรงกับความละเอียดเอาต์พุตของจอภาพ การใช้คุณสมบัติการเรียนรู้เชิงลึกของกราฟิกการ์ดซีรีส์ RTX ทำให้ DLSS สามารถส่งออกภาพในคุณภาพที่ตรงกับภาพที่แสดงผลแบบเนทีฟ

Nvidia ได้อธิบายกลไกที่อยู่เบื้องหลังเทคโนโลยี DLSS 2.0 บนเว็บไซต์อย่างเป็นทางการ เราทราบดีว่า Nvidia ใช้ระบบที่เรียกว่า Neural Graphics Framework หรือ NGX ซึ่งใช้ความสามารถของซูเปอร์คอมพิวเตอร์ที่ขับเคลื่อนด้วย NGX เพื่อเรียนรู้และปรับปรุงการคำนวณ AI ให้ดียิ่งขึ้น DLSS 2.0 มีอินพุตหลักสองตัวในเครือข่าย AI:

• ความละเอียดต่ำภาพนามแฝงที่แสดงโดยเอนจินเกม
• เวกเตอร์การเคลื่อนไหวที่มีความละเอียดต่ำจากภาพเดียวกัน - สร้างโดยเอนจินเกมด้วย

จากนั้น Nvidia จะใช้กระบวนการที่เรียกว่าการตอบกลับชั่วคราวเพื่อ "ประมาณ" ว่าเฟรมจะมีลักษณะอย่างไร จากนั้นตัวเข้ารหัสอัตโนมัติ AI ชนิดพิเศษจะใช้เฟรมปัจจุบันที่มีความละเอียดต่ำและเฟรมก่อนหน้าที่มีความละเอียดสูงเพื่อกำหนดแบบพิกเซลต่อพิกเซลว่าจะสร้างเฟรมปัจจุบันที่มีคุณภาพสูงขึ้นได้อย่างไร Nvidia กำลังดำเนินการไปพร้อม ๆ กันเพื่อปรับปรุงความเข้าใจในกระบวนการของซูเปอร์คอมพิวเตอร์:

การใช้งานในอนาคต

ดังที่เราเห็นได้จากแอพพลิเคชั่นต่างๆเช่นการเรียนรู้เชิงลึกปัญญาประดิษฐ์และโดยเฉพาะอย่างยิ่งคุณสมบัติ DLSS ที่ Nvidia ได้เปิดตัวในตอนนี้ Tensor Cores ของกราฟิกการ์ดเหล่านี้กำลังทำงานที่น่าสนใจและสำคัญมากมาย เป็นการยากที่จะคาดเดาว่าอนาคตจะเป็นอย่างไรสำหรับสาขาเหล่านี้ แต่ก็สามารถคาดการณ์ได้อย่างแน่นอนโดยพิจารณาจากข้อมูลปัจจุบันและแนวโน้มของอุตสาหกรรม

ปัจจุบันการผลักดันระดับโลกในสาขาต่างๆเช่นปัญญาประดิษฐ์และการเรียนรู้ของเครื่องอยู่ในระดับสูงสุดตลอดเวลา ปลอดภัยที่จะสันนิษฐานว่า Nvidia จะขยายกลุ่มผลิตภัณฑ์กราฟิกการ์ดที่มี Tensor Cores ในอนาคตอันใกล้นี้และการ์ดเหล่านั้นจะมีประโยชน์สำหรับแอปพลิเคชันเหล่านี้ นอกจากนี้ DLSS ยังเป็นอีกหนึ่งแอปพลิเคชั่นที่ยอดเยี่ยมของเทคโนโลยีการเรียนรู้เชิงลึกที่ใช้ Tensor Cores และอาจมีการปรับปรุงครั้งใหญ่ในอนาคตอันใกล้ เป็นหนึ่งในคุณสมบัติที่น่าสนใจที่สุดและมีประสิทธิผลมากที่สุดในการเข้าสู่อุตสาหกรรมเกมพีซีในช่วงไม่กี่ปีที่ผ่านมาดังนั้นจึงต้องถือว่ามันอยู่ที่นี่ต่อไป

ด้วยพลังของ Tensor Cores ความก้าวหน้าในด้านการเรียนรู้ของเครื่องและปัญญาประดิษฐ์กำลังก้าวไปอย่างรวดเร็ว กระบวนการนี้มักจะดำเนินต่อไปและได้รับการขยายผลโดยมี บริษัท ต่างๆเช่น Nvidia ที่รับผิดชอบและเป็นผู้นำในอุตสาหกรรมเกม PC เมื่อต้องใช้ความรู้ในสาขาเหล่านี้ในเกมที่เราเล่น