สวนญี่ปุ่นได้รับอิทธิพลจากสวนจีน พร้อมๆ กับการเข้ามา ของศาสนา พุทธ ในช่วงศตวรรษที่ 6 มีพระภิกษุญี่ปุ่น 2 รูป จาริกไปศึกษา ในดินแดนจีน และกลับมาตั้งลัทธิใหม่ 2 ลัทธิคือ Shingon และ Tendi ซึ่งเป็น ศาสนาพุทธ แบบมหายาน ลัทธิทั้งสองนี้ เน้นทาง ปฏิบัติ โดยให้ ผู้ปฏิบัติธรรมหาที่ วิเวก เข้าสู่ความเงียบของธรรมชาติ ทำสมาธิเพื่อให้เกิดสติปัญญา การจัดสวน ในญี่ปุ่น จึงมีจุดเริ่มต้น จากวัดเช่นเดียวกับการเกิดขึ้นของ สวนจีน จากนั้นจึง แผ่ขยาย เข้าไปในวัง และ บ้านคหบดี ในเวลาต่อมา
ช่วงศตวรรษ ที่ 8-12 วัดในญี่ปุ่นส่วนใหญ่เป็นวัดใน ลัทธิชินโต มีสถาปัตยกรรม คล้ายกับที่ปรากฎในประเทศจีน คือ หลังคา เป็นทรงโค้ง มักจะมุงด้วยหญ้า ไม่มุงกระเบื้อง และจะมี ลานกรวด เพื่อแสดงถึง ความเป็นพื้นที่สงบ ศักดิ์สิทธิ์ ลานกรวดตามวัดต่างๆ จะถูกสร้างขึ้น อย่างประณีต และไม่ปลูกต้นไม้ ที่มีใบร่วงไว้ใน บริเวณใกล้เคียง ในตอนปลายสมัยนี้ นิยมสร้างสระน้ำ ผืนใหญ่ ไว้ในสวน มีศาลา สวดมนต์ ตั้งอยู่รอบๆ สวนในบ้านขุนนาง ชั้นผู้ใหญ่ หรือคหบดี บริเวณศาลาจะมี การตกแต่ง ประดับประดา ด้วยอัญมณี มีค่า มีการติดโคมไฟ ตลอดจน การทำรั้วรอบ

ในศตวรรษที่ 12-14 การเข้ามาของลัทธิ Zen ในญี่ปุ่น ทำให้เกิดสวน อีกประเภทที่เรียกว่า Dry Garden (kare sansui) มีลักษณะเป็นสวนแบบ Minimalism ซึ่งได้รับการออกแบบ เพื่อให้เอื้อต่อการทำสมาธิ สวน Zen จึงเป็นสวนที่มีองค์ประกอบ ( Element ) น้อยมากแสดง ให้เห็นแก่นแท้ ของธรรมชาติ สวนมีลักษณะเป็นลานกรวดที่มีต้นไม้น้อยที่สุด เพื่อให้เห็น ผิวสัมผัสของหินว่า อาจปกคลุมด้วยตะไคร่ หรือ มอส แนวคิดใน การออกแบบ เป็นการหยิบส่วนประกอบต่างๆ ออกไป ตัดสิ่งฟุ่มเฟือยออกให้ถึงแก่น แนวคิดนี้หากเปรียบเทียบกับ สวนแบบจีน สวนจีนจะมีลักษณะเป็นตัวแทน ( Representation) สิ่งที่อยู่ในธรรมชาติ อาทิ แทนภูเขา แทนน้ำตก ฯลฯ แต่ สวนญี่ปุ่น เป็นสวนที่มีลักษณะแบบชี้แนะ (Suggestion) ให้คิดว่านี่คือภูเขา ผู้ชมต้องใช้ความคิด และ จินตนาการประกอบการรับรู้นั้น

คติแบบเซ็นเป็นปัจจัยสำคัญที่ส่งอิทธิพลต่อการจัดสวนหินและสวนทรายซึ่งเป็น การเสนอแนวคิดทางนามธรรมใน การจัดสวนแบบญี่ปุ่น ที่แสดงออกถึงความรักและเคารพใน ผืนดิน ก้อนหิน และพืชพันธุ์ ซึ่งแม้จะเป็นบริเวณเล็กๆ แต่ก็สามารถนำ จินตนาการ ของผู้ใช้ให้สัมผัสได้ถึงความยิ่งใหญ่ของธรรมชาติ สวน Zen อันเลื่องชื่อ ในญี่ปุ่นได้แก่สวน Ryoan-ji ( เรียว อัน จิ ) ในเมืองเกียวโต ซึ่ง เป็นสวนหิน ที่มี Theme มาจาก กองเรือ และ ทะล กลุ่มหิน คือ กองเรือ ส่วนรอยคราดหินเป็นวงกลม แทนกระแสน้ำที่วนรอบเรือ Stepping Stone มาจากการ simplify เกาะเล็ก เกาะน้อยของญี่ปุ่น แล้ว หยิบออก โดยวิธีการ Subtraction คิดจากรูปด้าน เสมือนเมื่อน้ำท่วมสูงขึ้น จะเหลือแผ่นดิน หรือ เกาะที่สูงเท่านั้น โดยแสดงแนวคิดดังกล่าวออกมาทาง Plan จัดได้ว่าเป็นสวน Abstract แห่งแรกของโลก ผู้ที่เห็นรอยคราดนี้จะนึกถึงน้ำ โดยที่สวนไม่มีการใช้น้ำตกแต่งเลยแม้สักหยด สวน Zen บางแห่งมีการประยุกต์ ให้มีต้นไม้ที่ ควบคุม Scale ได้ ให้ขึ้นเกาะกับหินเพื่อเพิ่มชีวิตให้กับสวน ถึงแม้ว่า สวน Zen จะดูเป็น Static Garden กระนั้นเมื่อพิจารณาให้ลึกซึ้ง สวนยังมี Mood of Season ที่แสดงออกยามมี ใบไม้แห้งร่วงหล่นลงไป หรือ การเปลี่ยนแปลงของมอส หรือตะไคร่ ที่จับบนก้อนหิน

ช่วงศตวรรษที่ 16-17 Stroll Garden ( Stroll = เดินเล่น เดินทอดอารมณ์ ) สวนญี่ปุ่นในสมัยก่อนหน้านี้ เป็นลักษณะ ที่ผู้ใช้ไม่ออก ไปเดินใน สวน แต่ในช่วงศตวรรษนี้ เกิดความนิยมจัดสวนที่มีการใช้งานบริเวณนั้นจริงๆ ไม่เพียงผ่าน การรับรู้ด้วยตาเท่านั้น สวนที่ได้รับการออกแบบในช่วงสมัยนี้มีความอลังการ และ ใช้จินตนาการในการสร้างอย่างมาก สวนที่มีชื่อเสียง ในยุคนี้ได้ แก่ สวนของปราสาท Katsura ซึ่งมีอาณาบริเวณขนาด 11 เอเคอร์ มีพื้นที่ส่วนที่เป็นน้ำตรงกลาง และมีการสร้างตำหนักต่างๆ บนมุมของ เนินน้ำ ลักษณะเด่นที่ปรากฎ คือ มีการใช้ องค์ประกอบในการนำสายตา สร้างความลึกของภาพ หรือ นำมาเป็นกรอบของภาพของสวน ที่ต้องการให้ปรากฎการใช้ หินที่ทำให้ดูเรียบง่าย มีผังการจัดวางแบบลุ่มลึกแนบเนียน อาทิ การซ่อนหินในแนวต้นไม้

สวนญี่ปุ่น ได้รับอิทธิพล มาจากการจัดสวนถาด (tray garden) ด้วยเช่นกัน สวนญี่ปุ่นมักจะมี open terrace ที่เป็นตัวเชื่อมระหว่าง พื้นที่ภายในอาคาร กับพื้นที่ภายนอก องค์ประกอบ ที่มักจะพบใน สวนญี่ปุ่น คือ ตะเกียงหิน (stone lantern) ซึ่งวัตถุประสงค์เดิมใช้ เพื่อให้แสงสว่าง ในสวนยามค่ำคืน ต่อมาได้กลายเป็นเอกลักษณ์ที่สำคัญประการหนึ่งของ งานประติมากรรมใน สวนแบบญี่ปุ่น
การคำนึงถึง ความสอดคล้องสัมพันธ์ระหว่าง ที่ว่าง เวลา และ มิติในการมอง นับเป็นเสน่ห์ประการหนึ่งของสวนแบบญี่ปุ่น คือ มีลักษณะที่ค่อยๆ เผยแสดงให้เห็นการเปลี่ยนแปลงของที่ว่างที่แตกต่างกันไปในแต่ละมุมมอง สวนญี่ปุ่น มีปฏิสัมพันธ์ กับแทบทุก สัมผัสของมนุษย์ โดยสื่อผ่าน สี รูปทรง เส้นสาย ผิวสัมผัสของหิน ทราย ก้อนกรวด หินปูทางเดิน (stepping stone) ตลอดจนกลิ่นละมุนของดอกไม้และต้นสน

สวนแบบญี่ปุ่น เป็นสวนที่สร้างขึ้นเพื่อจำลองความงดงามของ ฉากธรรมชาติ ด้วยความใส่ใจอย่างยิ่ง เป็นงานประณีตพิถีพิถัน ที่ต้อง ได้รับการจัดวางอยู่ในพื้นที่ที่ค่อนข้างจำกัด วัตถุประสงค์ในการจัดการภูมิทัศน์ในสวนญี่ปุ่น ซึ่งมีพัฒนาการ สืบต่อกัน มายาวนานใน ประวัติศาสตร์ มีการจัดองค์ประกอบของภาพ ภูมิทัศน์โดยการจัดแต่งก้อนกรวด หิน ต้นไม้ สามารถมองได้จากหลากทิศทาง ทั้งจากมุมต่างๆ ในสวนและเมื่อมองจากชานบ้านซึ่งเป็น SPACE ที่เชื่อมต่อภายในบ้าน กับนอกบ้าน ได้โดยการเลื่อนฉากบาน เลื่อนออกทั้งระนาบผนัง

• บ่อน้ำ สระน้ำ เกาะ และเนินดิน การเล่นระดับของเนินดิน แหล่งน้ำมา จากน้ำพุใต้ดินหรือแหล่งน้ำใกล้เคียง มีการหมุนเวียน ของน้ำ
• มีลำธารและทางน้ำที่คดเคี้ยวไปในกลุ่มต้นไม้และหุบเขา ตื้นเพื่อให้เห็น คลื่นที่เกิดจากการไหลของน้ำผ่านไป บนก้อนหินที่ท้องน้ำ
• การใช้หิน ตามสภาพธรรมชาติดั้งเดิม แต่มีการเลือกรูปทรง สีผิง ขนาด และการจัดกลุ่มที่มีความหมาย
• แผ่นทางเดินหิน (stepping stone) เกิดจากพิธีชงชาในศตวรรษที่ 17 เพื่อเดนอย่างสำรวมไปยังห้อง หรื ศาลาชงชา
• สะพานข้ามทางน้ำ อาจเป็นหินแผ่นเรียบแผ่นเดียวหรือสะพานไม้โค้ง หรือสะพานแผ่นหินวางห่างเป็นระยะ ตามจังหวะการก้าวเท้า
• ลวดลายกรวด
• ตะเกียงหิน ส่วนใหญ่เป็นหินอกรนิต ใช้ตกแต่งและให้แสงสว่างในพิธีชงชา
• รั้ว และการตัดแต่งต้นไม้เป็นรั้ว

น้ำ เป็นต้นกำเนิดของชีวิต เป็นสิ่งที่ชโลมใจให้เยือกเย็นและมีความสุข กระแสน้ำมีอำนาจที่จะไหลพังทลายสิ่งที่กีดขวางได้ กระแสน้ำไหลทำให้เกิดเสียง เกิดความรู้สึกมีชีวิตชีวา จึงนิยมใช้น้ำเป็นสิ่งประกอบที่สำคัญ การใช้น้ำในสวนญี่ปุ่นก็เพื่อสมมุติว่าเป็น ลำธาร หนอง บึง สระน้ำ ทะเล มหาสมุทร ที่เกิดขึ้นเองตามธรรมชาติ การจัดน้ำไว้ภายในบริเวณสวนอย่างน้อยที่สุดก็มีน้ำในอ่างน้ำ ที่วางไว้ในสวนในที่ราบแบบเขียวชอุ่ม ส่วนสวนในที่ราบพื้นแห้ง ถึงแม้ภายในบริเวณจะไม่มีน้ำจริง ๆ แต่ก็ใช้กรวดหรือ ทรายโรยบนพื้นที่รายเรียบแล้วใช้ไม้ปลายแหลมขีดเส้นโค้งรอบ ๆกลุ่มก้อนหิน ชิดกันบ้างห่างกันบ้างเหมือน ระรอกน้ำหรือเกลี่ยวคลื่น ซึ่งเป็นการใช้น้ำโดยสมมุติ

   น้ำตก เป็นจุดเด่นสำคัญของสวนภูเขา น้ำตก เป็นธรรมชาติส่วนหนึ่งใน การจัดสวนญี่ปุ่น การปลูกต้นไม้ ไม่ควรปลูก ให้หนาทึบทากเกินไป ควรให้มีแสงสว่างลอดลงไปได้บ้างเพื่อให้เห็น ความงามของก้อนหิน และเห็นแสง เมื่อสะท้อนกับน้ำตกในบางจุด

   ลำธาร เป็นทางน้ำตื้น ๆ ไหลผ่าน หุบเขาที่คดเคี้ยวไป-มาลงสู่พื้นที่ที่มีระดับต่ำกว่าเหมือนที่เกิดขึ้นเองตามธรรมชาติ ริมตลิ่งและในลำธารมีก้อนหินขนาดใหญ่และเล็กฝังไว้เป็นระยะ ๆ อย่างกลมกลืน เมื่อน้ำไหลผ่านก็จะปะทะกับก้อนหิน ทำให้เกิด ละอองน้ำ กระเซ็น เป็นฝอย และอาจมีเสียงดังซู่ซ่าสร้างบรรยากาศให้มีชีวิตชีวายิ่งขึ้น

   สระน้ำ ลักษณะรูปร่างเป็นแบบธรรมชาติ จะไม่ปรากฏรูปร่างเป็นสี่เหลี่ยม หรือ วางแสดงให้เห็นว่า เกิดจาก การกระทำของมนุษย์ เลย ขอบสระหรือริมตลิ่งจะฝังก้อนหินใหญ่/เล็กไว้เป็นระยะ ๆ เพื่อป้องกันตลิ่งพังและเป็นการประดับด้วย การฝังก้อนหินริมตลิ่งนับว่า เป็นศิลปะอีกอย่างหนึ่ง สระน้ำไม่ควรลึกนัก ถ้าขุดลึกเกินไปนอกจากจะทำให้ตลิ่งพังได้แล้ว ยังทำให้ไม่สามารถมองเห็น ก้อนหิน ก้อนกรวด ที่ก้นสระ น้ำในสระควรใสสะอาด ไม่มีกลิ่นและไม่กระด้าง การไหลของน้ำ ลงสู่สระน้ำอาจไหลตามลำธาร ซึ่งมีแหล่งน้ำตก เหมือนเกิดขึ้นเองตาม ธรรมชาติ ไม่ไช่ไหลจาก ท่อน้ำหรือก๊อกน้ำ การวางท่อส่งน้ำและท่อน้ำล้นควรซ่อนปลายท่อน้ำไว้ใต้ซอกหิน

   ถ้าเลี้ยงปลาในสระน้ำ ควรเลือกปลา ที่กินพืชเป็นอาหาร เพื่อจะได้ช่วยกินตะไคร่น้ำ เช่น ปลาไน หรือ ปลาแฟนซีคาร์พ ซึ่งเป็นปลา ที่เชื่องและมีสีสันสดใสหลาย สีสดุดตา ข้อควรระวังใน การเลี้ยงปลา ก็คือ อย่าให้อาหารมากจนเกินไป เพราะอาจทำให้น้ำเน่าได้ แต่ถ้าไม่เลี้ยงปลา ก็ควรปลูกพืชน้ำเช่น บัว สันตะวาใบพาย หรือใบข้าว ซึ่งสามารถเลี้ยงขึ้นอยู่ใต้น้ำ (ต้นและใบคล้าย ต้นผักกาด สีน้ำตาล) เพื่อเพิ่มออกซิเจนให้แก่น้ำ ช่วยแก้ปัญหาเรื่องน้ำเน่าเสียได้เป็นอย่างดี

   น้ำพุ น้ำพุในสวนญี่ปุ่นเป็นน้ำพุที่ไหลริน ๆ เหมือนบ่อน้ำร้อน พุ่งขึ้นเหนือผิวดินเหมือนท่อน้ำรั่ว บางแห่งไหลออกจากซอกหิน โดยซ้อนท่อน้ำไว้ใต้ก้อนหิน ไม่นิยมน้ำพุที่พุ่งขึ้นสูง ๆ อย่างสวนแบบประดิษฐ์ โดยทั่วไปมักจะจัดน้ำพุไว้ที่บริเวณใกล้เชิงเขาหรือใกล้ทางเดิน

   บ่อน้ำ ในการจัดสวนญี่ปุ่นอาจจัดให้มีบ่อน้ำอยู่ในบริเวณสวนด้วย รูปร่างของบ่อน้ำจะเป็นรูปเหลี่ยมหรือรูปกลมก็ได้ ไม่จำเป็นต้อง มีรูปแบบตาม ธรรมชาติเหมือนสระน้ำ โดยมีมือหมุนเพื่อกว้านถังน้ำขึ้นมาจากบ่อ แต่ในปัจจุบันมีไว้เพื่อประดับสวน มากกว่าการใช้ประโยชน์

   หิน หินสำหรับประดับภายในสวนจะคัดเลือกรูปทรงและสีเป็นพิเศษ ไม่นิยมหินที่มีรอยสกัด เพราะผิดไปจากธรรมชาติชนิดของหินได้แก่ หินทราย หินแกรนิต หินชนวน หินคลอไรด์ ฯลฯ นอกจากหินก็มีก้อนกรวดขนาดต่าง ๆ กัน ใส่ไว้ในบริเวณ น้ำตก ลำธาร และสระน้ำ นิยมใช้ก้อนหินที่มีสีเข้ม เช่น สีเทา หรือสีดำ ทำให้รู้สึกว่ามืด ๆ ทึม ๆ เข้ากับสีเขียวของพุ่มไม้เป็นอย่างดี ถ้าไม่จำเป็นพยายาม อย่าใช้ก้อนหินที่มีสีขาว เพราะจะขาวโพลงสว่างมากเกินไป ก้อนหินต้องไม่มีร้อยตบแต่งอาจมีรูปร่างแหว่งเว้าหรือเป็นรูไปบ้าง แต่ควรเป็นลักษณะที่เกิดขึ้นเองตามธรรมชาติมิใช่เกิดจากการกระทำของมนุษย์
การวางก้อนหินในสวนไม่นิยม วางเป็นก้อนโดด ๆ อย่างน้อยจะต้องมีก้อนหินก้อนอื่น ๆ ที่มีขนาดเล็กกว่าวางไว้ข้าง ๆ เป็นส่วนประกอบ ระยะห่างระหว่างก้อนขึ้นอยู่กับขนาดของก้อนหิน ถ้าก้อนหินใหญ่มากก็อาจวางห่างกันหน่อย ก้อนหินที่จัดวางไว้ในกลุ่มเดียวกันทุกก้อน ควรมีลักษณะผิวและสีเหมือนกัน แต่ละก้อนควรมีขนาดแตกต่างกัน โดยทั่วไปในกลุ่มหนึ่ง ๆ จะมีก้อนหินเป็นเลขคี่ เช่น 3 , 5 , 7 ฯลฯ โดยจัดเป็นรูปสามเหลี่ยมดังกล่าวแล้วในตอนต้น แต่ก็มีบางครั้งที่วางก้อนหินเพียง 2 ก้อน แล้วปลูกต้นไม้อีก 1 ต้น ก็จะทำให้มองดูแล้วเกิดเป็นรูปสามเหลี่ยมได้เหมือนกัน

   การประดับก้อนหินในบริเวณสวนควรฝังบางสวนของก้อนหินไว้ในดินโดยฝังส่วนที่เป็นรอยคอดตอนล่างให้จมลง ส่วนล่างของก้อนหิน ที่ระดับผิวดินจะต้องเป็นส่วนที่มีความกว้างหรือใหญ่กว่าส่วนบนที่อยู่เหนือดินขึ้นไป จะทำให้รู้สึกว่า ก้อนหินก้อนนั้น อยู่อย่างแข็งแรงมั่นคง มีลักษณะที่เกิดขึ้นเองตามธรรมชาติ