Proses pembentukan prasangka sosial menurut Mar’at (1981) dipengaruhi oleh beberapa faktor yaitu :
1. Pengaruh Kepribadian
Dalam perkembangan kepribadian seseorang akan terlihat pula pembentukan prasangka sosial. Kepribadian otoriter mengarahkan seseorang membentuk suatu konsep prasangka sosial, karena ada kecenderungan orang tersebut selalu merasa curiga, berfikir dogmatis dan berpola pada diri sendiri.
2. Pendidikan dan Status
Semakin tinggi pendidikan seseorang dan semakin tinggi status yang dimilikinya akan mempengaruhi cara berfikirnya dan akan meredusir prasangka sosial.
3. Pengaruh Pendidikan Anak oleh Orangtua
Dalam hal ini orang tua memiliki nilai-nilai tradisional yang dapat dikatakan berperan sebagai famili ideologi yang akan mempengaruhi prasangka sosial.
4. Pengaruh Kelompok
Kelompok memiliki norma dan nilai tersendiri dan akan mempengaruhi pembentukan prasangka sosial pada kelompok tersebut. Oleh karenanya norma kelompok yang memiliki fungsi otonom dan akan banyak memberikan informasi secara realistis atau secara emosional yang mempengaruhi sistem sikap individu.
5. Pengaruh Politik dan Ekonomi
Politik dan ekonomi sering mendominir pembentukan prasangka sosial. Pengaruh politik dan ekonomi telah banyak memicu terjadinya prasangka sosial terhadap kelompok lain misalnya kelompok minoritas.
6. Pengaruh Komunikasi
Komunikasi juga memiliki peranan penting dalam memberikan informasi yang baik dan komponen sikap akan banyak dipengaruhi oleh media massa seperti radio, televisi, yang kesemuanya hal ini akan mempengaruhi pembentukan prasangka sosial dalam diri seseorang.
7. Pengaruh Hubungan Sosial
Hubungan sosial merupakan suatu media dalam mengurangi atau mempertinggi pembentukan prasangka sosial. Sehubungan dengan proses belajar sebagai sebab yang menimbulkan terjadinya prasangka sosial pada orang lain, maka dalam hal ini orang tua dianggap sebagai guru utama karena pengaruh mereka paling besar pada tahap modellingpada usia anak-anak sekaligus menanamkan perilaku prasangka sosial kepada kelompok lain. Modellingsebagai proses meniru perilaku orang lain pada usia anak-anak, maka orang tua dianggap memainkan peranan yang cukup besar. Hal ini sesuai dengan penelitian yang dilakukan oleh Ashmore dan DelBoka, (dalam Sears et all, 1985) yang menunjukkan bahwa orang tua memiliki peranan yang penting dalam pembentukan prasangka sosial dalam diri anak. Jadi, terdapat korelasi antara sikap etnis dan rasial orang tua dengan sikap etnis dan rasial pada diri anak.
Dari uraian singkat tersebut di atas dapat disimpulkan bahwa prasangka sosial terjadi disebabkan adanya perasaan berbeda dengan orang lain atau kelompok lain. Selain itu prasangka sosial disebabkan oleh adanya proses belajar, juga timbul disebabkan oleh adanya perasaan membenci antar individu atau kelompok misalnya antara kelompok mayoritas dan kelompok minoritas. Rose (dalam Gerungan, 1991) menguraikan bahwa faktor yang mempengaruhi prasangka sosial adalah faktor kepentingan perseorangan atau kelompok tertentu, yang akan memperoleh keuntungan atau rezekinya apabila mereka memupuk prasangka sosial. Prasangka sosial yang demikian digunakan untuk mengeksploitasi golongan-golongan lainnya demi kemajuan perseorangan atau golongan sendiri.
Prasangka sosial pada diri seseorang menurut Kossen (1986) dipengaruhi oleh ketidaktahuan dan ketiadaan tentang objek atau subjek yang diprasangkainya. Seseorang sering sekali menghukum atau memberi penilaian yang salah terhadap objek atau subjek tertentu sebelum memeriksa kebenarannya, sehingga orang tersebut memberi penilaian tanpa mengetahui permasalahannya dengan jelas, atau dengan kata lain penilaian tersebut tidak didasarkan pada fakta-fakta yang cukup.
Selanjutnya Gerungan, (1991) menguraikan bahwa prasangka sosial dipengaruhi oleh kurangnya pengetahuan dan pengertian akan fakta-fakta kehidupan yang sebenarnya dari golongan-golongan orang yang diprasangkainya.