มหาวิทยาลัยศิลปากรจัดตั้งห้องสมุดของมหาวิทยาลัยขึ้นเป็นแห่งแรก ณ วังท่าพระ เมื่อ พ.ศ. 2507 เพื่อเป็นแหล่งข้อมูลสนับสนุนการเรียน การสอน การวิจัย และการศึกษาค้นคว้าของคณะวิชาที่มีการเรียนการสอนด้านศิลปะการออกแบบ และโบราณคดี มีสถานที่ทำการอยู่ในตึกสำนักงานอธิการบดี ซึ่งตั้งอยู่ ณ อาคารด้านหลังอนุสาวรีย์ ศาสตราจารย์ศิลป์ พีระศรี ต่อมามหาวิทยาลัยได้ก่อสร้างอาคารหอสมุดขึ้นฝั่งถนนหน้าพระลานออกแบบโดยผู้ช่วยศาสตราจารย์สุริยา รัตนพฤกษ์ ที่เน้นการออกแบบไม่ให้ตัวอาคารบดบังทัศนยภาพของอาคารท้องพระโรง และกลายเป็นฉากด้านหลังกำแพงวังขับเน้นประติมากรรมลอยตัวของใบเสมาให้โดดเด่นขึ้น เปิดทำการอย่างเป็นทางการเมื่อวันที่ 16 มิถุนายน พ.ศ. 2518 จนถึงปี พ.ศ. 2549 หอสมุดทำการปรับปรุงพื้นที่พร้อมทั้งออกแบบตกแต่งภายในอาคารหอสมุดให้มีภาพลักษณ์ที่ทันสมัยและสวยงาม โดยการควบคุมดูแลของอาจารย์สมบัติ  วงศ์อัศวนฤมล คณะมัณฑนศิลป์ ด้วยแนวคิด “บริหารจัดการพื้นที่น้อยโดยออกแบบให้เกิดประโยชน์ใช้สอยให้มากที่สุด ”

    ต่อมาปี พ.ศ. 2558 มหาวิทยาลัยได้จัดทำโครงการปรับปรุงมหาวิทยาลัยศิลปากร วังท่าพระ หอสมุดวังท่าพระได้รับการการออกแบบและปรับปรุงใหม่ทั้งอาคาร โดยการออกแบบของผู้ช่วยศาสตราจารย์นันทพล จั่นเงิน คณะสถาปัตยกรรมศาสตร์ ด้วยแนวคิดการสร้างพื้นที่เรียนรู้ที่ไร้ขอบเขต (borderless learning space) ให้สามารถเกิดการเชื่อมต่อพื้นที่เรียนรู้ประเภทต่าง ๆ ภายในอาคารได้อย่างต่อเนื่องสมบูรณ์ และสามารถสร้างพื้นที่เรียนรู้ที่เปิดมุมมองสู่บริบทภายนอกอาคารที่มีความสำคัญเช่น ซุ้มประตูวังท่าพระ ผลงานออกแบบของสมเด็จครู สมเด็จพระเจ้าบรมวงศ์เธอ เจ้าฟ้ากรมพระยานริศรานุวัดติวงศ์ แนวกำแพงวัดพระศรีรัตนศาสดาราม และอาคารอนุรักษ์บริเวณท่าช้าง ตลอดจนวิถีชีวิตผู้คน และธรรมชาติภายนอกซึ่งสามารถทำให้ผู้ใช้อาคารเกิดการรับรู้ของสถานที่ (sense of place) และตระหนักรู้ถึงอัตลักษณ์ของมหาวิทยาลัยศิลปากรแห่งนี้โดยดำเนินการเสร็จเรียบร้อยในปี พ.ศ. 2564

    หอสมุดวังท่าพระ นับเป็นห้องสมุดมหาวิทยาลัยด้านศิลปะและการออกแบบชั้นนำของประเทศ ที่มีทรัพยากรสารสนเทศด้านศิลปะ การออกแบบ สถาปัตยกรรม โบราณคดี ประวัติศาสตร์และวัฒนธรรมรวมถึงองค์ความรู้ใหม่ๆ ที่มหาวิทยาลัยศิลปากรสร้างขึ้น มีทรัพยากรสารสนเทศอันทรงคุณค่าหายากที่สั่งสมไว้เป็นจำนวนมาก มีพื้นที่เพื่อการเรียนรู้ทางกายภาพทั้งพื้นที่นั่งอ่านและพื้นที่ที่มีการจัดสภาพแวดล้อมที่เอื้อต่อการเรียนรู้และการสร้างสรรค์งานเพื่อยกระดับการเผยแพร่ และการเข้าถึงทรัพยากรสารสนเทศต่าง ๆ ที่มีให้บริการในหอสมุดทั้งในแบบ Onsite และ Online  เพื่อตอบสนองความต้องการของผู้ใช้บริการ