Untuk mengenalkan konsep analisis regresi kuadrat terkecil akan diawali dengan analisis regresi garis lurus. Pada kasus ini diandaikan terdapat satu set data pengukuran (x1,y1), (x2,y2), …, (xN,yN) yang akan diwakili dengan garis lurus
y = a + bx dengan a dan b adalah parameter yang akan dihitung dengan metoda kuadrat terkecil. Pertama kali adalah dihitung jarak vertikal setiap datum dengan garis lurus di atas di = a + bxi – yi
Setelah parameter a dan b dihitung berdasarkan Pers.(1.4), maka persamaan regresi garis lurus seperti tercantum dalam Pers.(1.1) dapat ditentukan.
Pers.(1.3) lebih mudah diingat daripada Pers.(1.4), karena Pers.(1.3) dapat dijabarkan dengan mudah dari Pers.(1.1) sebagai berikut:
Setelah parameter a dan b dihitung berdasarkan Pers.(1.4), maka persamaan regresi garis lurus seperti tercantum dalam Pers.(1.1) dapat ditentukan.
Pers.(1.3) lebih mudah diingat daripada Pers.(1.4), karena Pers.(1.3) dapat dijabarkan dengan mudah dari Pers.(1.1) sebagai berikut:
Pers.(1.5) tidak lain adalah Pers.(1.3). Walaupun pendekatannya tidak ilmiah, agar lebih mudah mengingat, maka cara untuk mendapatkan Pers.(1.5) lebih dianjurkan dibanding dengan cara untuk menjabarkan Pers.(1.3). Untuk memahami prinsip regresi kuadrat terkecil penjabaran Pers.(1.3) harus dimengerti secara rinci, karena mempunyai dasar ilmiah.