A ML system,GPT-3, writing an academic paper on itself

เมื่อ 2 ก.ค.65 มีเพื่อนนักวิจัยคนหนึ่งที่เนคเทค (NECTEC) ได้แชร์เรื่องราวการพัฒนาการของ ML (Machine Learning) โดย ML system นี้ มีชื่อว่า GPT-3 (Generative Pretrained Transformer) จากสถาบันวิจัย Institue of Neuroscience and Physiology, University of Gothenburg, Gothenburg, Sweden ซึ่ง GPT-3 เป็น Neural network ที่ใช้งานด้าน Image recognition, Natural language processing, Predictive modeling โดยอัลกอริทึมส์ของ GPT-3 สำหรับงานด้าน Natural language processing มี Techniques ในการสร้างข้อความดังนี้ 

1. TOP P technique ใช้เลือกคำที่จะสร้างต่อไปในประโยคเพื่อให้แน่ใจว่าไวยากรณ์ของประโยคถูกต้องและเข้าใจได้

2. Frequency Penalty technique ใช้สร้างคำที่พิเศษ เฉพาะเจาะจง และหลากหลาย โดยไม่สร้างคำเดิมๆ ซ้ำๆ (non-common words)

3, Presence Penalty technique ใช้สร้างคำที่ไม่อยู่ใน training data เพื่อให้ข้อความที่สร้างมีความสมจริงและเชื่อถือได้

4. Temperature setting ใช้ควบคุมความต้องการ output ของการสร้างคำ/เขียนข้อความโดย GPT-3 และ Max lenght setting ใช้ควบคุมความยาวของข้อความที่สร้างเพื่อให้ข้อความที่สร้างไม่ซ้ำและน่าเบื่อ

สรุป GPT-3 เป็นระบบ Machine Learning ที่มีความสามารถในการเขียน academic paper ด้วยตัวเอง โดยมีมนุษย์เป็นผู้กำหนดความต้องการในการเขียน แต่ยังคงมีข้อจำกัด เช่น GPT-3 ยังไม่สามารถรับรู้และเข้าใจภาษามนุษย์ได้ในบางบริบท อีกทั้งยังไม่สามารถสร้างข้อความที่เป็นแนวความคิดใหม่หรือมุมมองต่างๆ แบบที่มนุษย์แสดงออกได้

ตัวอย่าง academic paper by GPT-3 self-writing.

บรรณานุกรม

GPT Generative Pretrained Transformer, Almira Osmanovic Thunstrom, Steinn Steingrimsson, "Can GPT-3 write an academic paper on itself, with mininal human input?", HAL id: hal-03701250, https://hal.archives-ouvertes.fr/hal-03701250, 21 Jun 2022.