เมื่อพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว (รัชกาลที่ 5) ทรงเสด็จขึ้นครองราชย์ในปี พ.ศ. 2411 นั้น เป็นที่ทราบกันดีว่าทรงตกอยู่ใต้อำนาจของผู้สำเร็จราชการในขณะนั้น คือสมเด็จเจ้าพระยาบรมมหาศรีสุริยวงศ์ (ช่วง บุนนาค) เนื่องจากในตอนนั้นรัชกาลที่ 5 ทรงมีพระชันษาเพียง 15 พรรษาเท่านั้น
อีกทั้งสมเด็จเจ้าพระยาฯ เองก็ได้สะสมอำนาจบารมีทางการเมืองมาตั้งแต่ครั้งเป็นจมื่นไวยวรนาถ ที่หัวหมื่นมหาดเล็กในสมัยรัชกาลที่ 3 ก่อนจะได้เป็นสมเด็จเจ้าพระยาฯ ในต้นสมัยรัชกาลที่ 5 ซึ่ง ศาสตราจารย์ ดร.วิษณุ เครืองาม ได้วิจารณ์อำนาจบารมีของสมเด็จเจ้าพระยาฯ ในช่วงต้นสมัยรัชกาลที่ 5 ว่า “เพียงแค่สมเด็จเจ้าพระยาฯ ตีระฆังเท่านั้น ราชสมบัติจะไปไหนเสีย”
หลักฐานสำคัญที่ยืนยันที่อำนาจบารมีของสมเด็จเจ้าพระยาฯ ก็คือคำพูดกล่าวเย้ยหยันของท่านผู้หญิงพัน หนึ่งในภรรยาคนสำคัญของสมเด็จเจ้าพระยาฯ ซึ่งแอนนา เลียวโนเวนส์ (Anna Leonovens) อาจารย์สาวแม่หม้ายชาวอังกฤษ ผู้เข้ามาสอนวิชาภาษาอังกฤษให้แก่บรรดาพระโอรสและพระธิดาของพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว (รัชกาลที่ 4) ระหว่างปี พ.ศ. 2405-2410 ได้บรรยายลักษณะของท่านผู้หญิงพัน บุนนาค
“คุณหญิงพันไม่ใช่ทั้งคนสวยหรือสง่างาม แต่เป็นแม่บ้านแม่เรือนและอารมณ์เย็นที่สุด ตอนเจอกันครั้งแรกเธอน่าจะอายุราว 40 ปี ตัวล่ำหนา ผิวคล้ำ เสน่ห์เดียวของเธอคือสายตากับวาจาที่อ่อนโยน…คุณหญิงพันรักดอกไม้เป็นชีวิตจิตใจซึ่งเธอถือว่าเป็นลูกรัก…สุภาพสตรีผู้มีอำนาจเบ็ดเสร็จในครัวเรือนท่านมหาเสนาบดีมีความปรานีต่อบรรดาสาวน้อยในฮาเร็มสามีเธอ เธอใส่ใจต่อความเป็นอยู่ของพวกนางอย่างฉันมิตรที่สุด ใช้ชีวิตอยู่ร่วมกับพวกนางอย่างผาสุกเหมือนแม่กับลูกสาว ต่างไว้เนื้อเชื่อใจกัน และมักแก้ต่างให้พวกนางกับสามี ผู้ที่เธอต้องอาศัยการโน้มน้าวเชิงบวกอย่างละเอียดรอบคอบ”
โดยคุณหญิงพัน ได้กล่าวเย้ยรัชกาลที่ 5 ในพิธีสรงน้ำพระบรมศพพระบาทสมเด็จพระจอมเกล้าเจ้าอยู่หัว (รัชกาลที่ 4) ในปี พ.ศ. 2411 ซึ่งขณะนั้นรัชกาลที่ 5 ทรงพระประชวรด้วยพระโรคไข้ป่าประกอบกับความโศกเศร้าอาลัย จึงทำให้พระอาการประชวรหนักขึ้นจนไม่สามารถเสด็จพระราชดำเนินด้วยพระองค์เองได้ เป็นเหตุให้ท่านผู้หญิงพันถึงกับออกอุทานว่า “โถพ่อคุณ พ่อจะอยู่ไปได้สักกี่วัน”
แน่นอนว่าหากท่านผู้หญิงพันไปพูดแบบนี้กับเจ้านายที่ทรงอำนาจทางการเมืองอย่างเต็มที่ เชื่อว่าท่านผู้หญิงพันคงจะได้รับราชภัยเป็นแน่ แต่ก็ดังที่กล่าวมาในข้างต้นว่าพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว (รัชกาลที่ 5) ท่านไม่ได้ทรงมีอำนาจทางการเมืองอย่างเต็มที่ในช่วงต้นรัชกาล ดังนั้นท่านผู้หญิงพัน จึงได้มีโอกาสกล่าวเย้ย รัชกาลที่ 5 ดังที่กล่าวมา
อย่างไรก็ตาม พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวรัชกาลที่ 5 ก็ทรงลบคำปรามาสที่ท่านผู้หญิงพันกล่าวมาจนสามารถมีพระชนม์ชีพอยู่ต่ออีกเป็นเวลานานและทรงกลายเป็นกษัตริย์พระองค์แรกที่นำสยามเข้าสู่ระบอบการปกครองแบบสมัยใหม่ในที่สุด
