Pada prinsipnya analisis regresi adalah pencarian suatu kurva yang mewakili hubungan satu set data. Regresi kuadrat terkecil adalah suatu regresi dengan konstrainnya adalah jumlah kuadrat jarak vertikal setiap titik dalam data terhadap kurva regresi menjadi minimum.
Pada gambar dibawah ini disajikan satu set data hasil pengukuran (xi, yi)
untuk i = 1, 2, …, N, dengan N adalah jumlah data atau jumlah pengukuran. Dalam Gambar 1.1 disajikan pula kurva sembarang y = y(x) yang menggambarkan korelasi teoretis antara x dengan y. Dalam kalibrasi bangunan ukur dapat dibayangkan bahwa y mewakili debit dan x mewakili elevasi muka air.
Definisi:
Dari semua kurva pendekatan terhadap satu set data, kurva yang mempunyai sifat bahwa nilai
adalah minimum, disebut dengan kurva terbaik yang mewakili data.
Kurva yang mempunyai sifat itu disebut dengan kurva kuadrat terkecil. Kurva itu sendiri secara teoretis dapat berupa garis lurus parabola, atau polinomial berderajad tinggi maupun kurva-kurva jenis yang lain. Jadi analisis regresi tidak memberikan petunjuk kurva jenis yang mana yang harus dipakai, tetapi analisis ini memberikan untuk satu jenis kurva (misalnya garis lurus) yang terbaik mewakili data.