ตำบลคลองรี เป็นชื่อของคลองเรือประมง ซึ่งมาจากคลองเรือที่มีชื่อว่า สิทธิเรือรี โดยเป็นเรือในพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว รัชการที่ ๕ แห่งกรุงรัตนโกสินทร์ ที่โปรดเกล้าให้สร้างขึ้นเมื่อครั้งเสด็จประภาสที่ตำบลจะทิ้งพระ โดยนำเรือหลวงเข้าเทียบท่าที่หาดมหาราชเมื่อเสด็จเยี่ยมเยียนประชาชนในเดือนมิถุนายน ๒๔๔๘ จากนั้นทรงมีพระประสงค์ที่เสด็จไปยังเกาะสี่เกาะห้า จังหวัดพัทลุง พระองค์จึงมีพระราชประสงค์ที่จะสร้างเรือขึ้นอีก ๒ ลำ เพื่อความสะดวกในการเดินทาง จึงได้รับสั่ง ให้ทหารมหาดเล็กไปหาไม้มาสร้างเรือดังกล่าว ปรากฏว่าได้ต้นไม้มา ๑ ต้น ซึ่งเป็นต้นตะเคียนจาก อำเภอบางแก้ว จังหวัดพัทลุง ซึ่งถือว่าเป็นไม้ที่ศักดิ์สิทธิ์ มีเทพยดาหรือนางไม้สิงสถิตอยู่ เมื่อสร้างเรือเสร็จแล้วทั้ง ๒ ลำ ทรงพระราชทานนามเรือว่าสิทธิเรือรี มีลำพี่และลำน้อง
เมื่อพระองค์เสด็จกลับกรุงเทพมหานคร จึงได้นำเรือสิทธิเรือรีทั้ง ๒ ลำกลับไปด้วย มหาดมหาดเล็กได้ผูกเรือทั้ง ๒ ลำ ไว้ที่ท่าน้ำ แต่เรือทั้ง ๒ ลำ ได้ขาดลอยกลับมาที่ตำบลคลองรี สันนิษฐานว่าแม่ย่านางเรือ หรือเทพยดาที่สิงสถิตอยู่พากลับมา จากนั้นเรือทั้ง ๒ ลำ ก็แยกออกจากกันที่คลอง เรือลำแรกลอยต่อไปที่คลองบริเวณบ้านคลองรี ต่อมาเป็นที่มาของเรือคลองรี บ้านคลองรี บ้านจากและตำบลคลองรี ส่วนเรืออีกลำลอยไปจมอยู่ที่ตำบลบางแก้ว จังหวัดพัทลุง โดยมีหลักฐานเป็นกอไผ่ที่เกิดจากไม้ถ่อเรือ ที่ปักปลายลงไปในทะเลที่มียอดไผ่งอกลงไปในทะเล ซึ่งเป็นเรื่องที่น่าอัศจรรย์และผิดปกติจากกอไผ่ทั่วไป จากนั้นหมู่บ้านที่เรือทั้ง ๒ ลำ แยกจากกันได้ชื่อว่าบ้านจาก และคลองบ้านจาก ก็ยังอยู่จนถึงปัจจุบัน