ผลการทดสอบครั้งใหม่เพื่อประเมินความสามารถของแชตบอต ChatGPT ได้สร้างความประหลาดใจให้กับแวดวงการเงินเป็นอย่างมาก และเป็นการสนับสนุนผลการทดสอบความสามารถของ ChatGPT ในช่วงก่อนหน้านี้ด้วย
สำนักข่าวบลูมเบิร์กรายงานว่า ทีมนักวิจัยได้เปิดเผยรายงานผลการทดสอบความสามารถของ ChatGPT ครั้งใหม่จำนวน 2 ฉบับ โดยฉบับหนึ่งเป็นทีมนักวิจัยของธนาคารกลางสหรัฐ (เฟด) สาขาริชมอนด์ ซึ่งนำโดยแอนน์ ลุนด์การ์ด แฮนเซน และโซเฟีย คาซินนิค ซึ่งตั้งคำถามว่า แถลงการณ์ของเฟดสะท้อนถึงทิศทางการดำเนินนโยบายการเงินแบบคุมเข้มหรือแบบผ่อนคลาย ส่วนอีกฉบับหนึ่งตั้งคำถามว่า หัวข้อข่าวเป็นปัจจัยบวกหรือปัจจัยลบต่อราคาหุ้น
การทดสอบ ChatGPT ทั้งสองหัวข้อแสดงให้เห็นถึงความคืบหน้าครั้งสำคัญของการใช้เทคโนโลยีในการแปลงข้อความจากบทความข่าว, ทวีตและสุนทรพจน์ไปเป็นสัญญาณชี้นำการซื้อขาย
หัวข้อการทดสอบฉบับแรกมีชื่อว่า "ChatGPT สามารถถอดรหัสคำพูดของเฟดได้หรือไม่? (Can ChatGPT Decipher Fed speak?)" โดยทีมนักวิจัยของเฟดสาขาริชมอนด์พบว่า ChatGPT มีความสามารถใกล้เคียงกับมนุษย์ในแง่ของการวิเคราะห์ว่าแถลงการณ์ของเฟดส่งสัญญาณถึงการคุมเข้มหรือผ่อนคลายนโยบายการเงิน นอกจากนี้ ผลลัพธ์ดังกล่าวยังแสดงให้เห็นว่า ChatGPT มีความสามารถเหนือ BERT ซึ่งเป็นแชตบอตรุ่นใหม่ของกูเกิลอีกด้วย
ทีมวิจัยของเฟดระบุว่า ChatGPT สามารถอธิบายการจำแนกแถลงการณ์ด้านนโยบายของเฟดที่นักวิเคราะห์ของเฟดเองได้รวบรวมไว้ โดยนักวิจัยได้ให้ตัวอย่างแถลงการณ์ของเฟดเมื่อเดือนพ.ค. 2556 ซึ่งระบุว่า "Labor market conditions have shown some improvement in recent months, on balance, but the unemployment rate remains elevated (ภาวะตลาดแรงงานฟื้นตัวในระดับหนึ่งในช่วงหลายเดือนที่ผ่านมา แต่อัตราว่างงานยังคงปรับตัวสูงขึ้น" ซึ่ง ChatGPT สามารถอธิบายประโยคนี้ว่าเฟดมีแนวโน้มที่จะใช้นโยบายผ่อนคลายทางการเงินเนื่องจากเศรษฐกิจยังไม่ฟื้นตัวเต็มที่ โดยคำอธิบายดังกล่าวใกล้เคียงกับข้อสรุปของนักวิเคราะห์วัย 24 ปีที่มีความรอบรู้
ส่วนหัวข้อการทดสอบฉบับที่สองมีชื่อว่า "Can ChatGPT Forecast Stock Price Movements? (ChatGPT สามารถคาดการณ์ความเคลื่อนไหวของราคาหุ้นได้หรือไม่?)" โดยหัวข้อนี้ดำเนินการโดย อเลแจนโดร โลเปซ-ไลรา และหยูหัว ตัง สองนักวิจัยจากมหาวิทยาลัยฟลอริดาที่ต้องการทดสอบความเชี่ยวชาญด้านการเงินและตีความข่าวธุรกิจของ ChatGPT โดยนักวิจัยได้ใช้ข่าวที่มีการเผยแพร่หลังปลายปี 2564 ซึ่งเป็นช่วงเวลาที่ผู้พัฒนา ChatGPT ยังไม่มีการป้อนข้อมูลให้กับแชตบอต
ผลการศึกษาพบว่า คำตอบที่ได้รับจาก ChatGPT แสดงให้เห็นถึงการเชื่อมโยงความเคลื่อนไหวของตลาดหุ้นในเชิงสถิติ ซึ่งเป็นสัญญาณบ่งชี้ว่า ChatGPT สามารถวิเคราะห์ความหมายของข่าวได้อย่างถูกต้อง
สำหรับหัวข้อข่าวที่ใช้ทดสอบคือ "Rimini Street Fined $630,000 in Case Against Oracle" was good or bad for Oracle (ริมินี สตรีท ถูกปรับเป็นเงิน 630,000 ดอลลาร์ในคดีความที่มีปัญหากับบริษัทออราเคิลนั้น เป็นปัจจัยบวกหรือลบต่อออราเคิล)" ซึ่ง ChatGPT อธิบายว่าเป็นปัจจัยบวก เพราะการลงโทษปรับริมินี สตรีท จะช่วยให้นักลงทุนมีความเชื่อมั่นมากขึ้นว่า ออราเคิลสามารถปกป้องทรัพย์สินทางปัญญา อีกทั้งช่วยให้ความต้องการสินค้าและการบริการของออราเคิลเพิ่มขึ้นด้วย