Linear Equation

Example i1i1 i2i2 i3i3 V1V1 V2V2 R1R1 R2R2 R3R3 R4R4 R5R5

Existence & Uniqueness Existence and Uniqueness of a solution Ax=b depend on whether the matrix A is singular or nonsingular. Nonsingular Matrix satisfies the following: A has an inverse, i.e., A -1 such that AA -1 =I Det(A)  0 Rank(A)=n For any vector z  0, Az  0

Jika matriks A adalah nonsingular, maka A punya inverse A -1, dan Ax=b selalu mempunyai solusi unik, untuk setiap b Jika matriks A adalah singular, maka solusi Ax=b bergantung pada b, bisa ada atau bisa tidak ada solusi.

Example 1

Solusi x adalah unik karena A adalah nonsingular, berapapun b.

Example 2

Karena A adalah singular, solusi x mungkin ada mungkin tidak !, bergantung pada b. Kalaupun ada solusi, pasti solusinya tidak unik

Jika b=[4 7] T, tidak ada solusi untuk x. Jika b=[4 8] T, maka solusinya:

Problem Transformations Transformasi tidak mengubah solusi, malah bahkan bisa mempermudah menemukan solusi

Example: Permutation P Matrik permutasi P selalu nonsingular, dan berlaku P -1 = P T.

Example: Diagonal Scaling Matriks diagonal D= { dij} : semua elemen d ij = 0 untuk i  j.

Triangular Linear Systems Triangular Matrix x 3 =-1; x 2 =3; x 1 =-1 Jika A adalah matrix triangular, solusi lebih mudah ditemukan !  Lakukan transformasi matrik A menjadi matriks triangular !

Triangular Matrix Types Lower Triangular Matrix L={l ij }: semua elemen diatas elemen diagonal bernilai nol, yaitu l ij = 0 untuk i < j Upper Triangular Matrix U={l ij }: semua elemen dibawah elemen diagonal bernilai nol, yaitu l ij = 0 untuk i > j NB: Matrix L dan U dapat dipermutasikan menjadi U dan L dengan matrix permutasi yang sesuai

Forward Substitution Dilakukan dalam memecahkan problem Lx = b dengan persamaan berikut: Pseudocode for j = 1 to n{loop over columns} if l jj =0 then stop{stop if matrix is singular} x j =b j / l jj {compute solution component} for i=j+1 to n b i =b i – l ij x j {update right-hand side} end

Backward Substitution Dilakukan dalam memecahkan problem Ux = b dengan persamaan berikut: Pseudocode for j = n to 1{loop over columns} if u ij =0 then stop{stop if matrix is singular} x j =b j / u jj {compute solution component} for i=1 to j-1 b i =b i – u ij x j {update right-hand side} end

Elementary Elimination Matrix (Gaussian Transformation) Dipakai untuk mentransformasi sembarang matriks menjadi matriks triangular

Properties of M M k : lower triangular matrix, nonsingular M k =I-me k T, dimana m=[0,…,0,m k+1,..,m n ] T (multiplier vector) dan e k adalah kolom ke k matriks identitas M k -1 = I+me k T adalah sama dg M k kecuali tanda elemen- elemen di bawah diagonal adalah dibalik Jika M j, j>k, adalah matrik elementer yang lain sbgmn M k,dengan multiplier vector t, maka M k M j =I-me k T -te k T +me k T te k T =I-me k T -me k T Note : e k T t= 0;

Example Cari M 1 dan M 2 !

Gaussian Elimination Jika matrix Gaussian Elimination sudah ditemukan, maka Ax=b bisa dengan mudah ditransformasi menjadi bentuk upper triangular M 1 Ax=M 1 b  Kolom PERTAMA matrix A bernilai nol semua kecuali baris pertama M 2 M 1 Ax=M 2 M 1 b  Kolom KEDUA matrix M 1 A bernilai nol semua kecuali baris kedua M 3 M 2 M 1 Ax=M 3 M 2 M 1 b  Kolom KETIGA matrix M 2 M 1 A bernilai nol semua kecuali baris ketiga

MAx=M n-1 …M 3 M 2 M 1 Ax=M n-1...M 3 M 2 M 1 b M=M n-1 …M 3 M 2 M 1 M -1 =L U=MA -> A= M -1 U A=LU

LU Factorization A=LU Ax=b  LUx=b  x=? Forward substitution: Ly=b Barkward substitution: Ux=y

Algorithm of LU Factorization for k=1 to n-1 {Loop over columns} if a kk =0 then stop {stop if pivot is zero} for i=k+1 to n {compute multipliers m ik =a ik /a kk for current column} end for j=k to n for i=k+1 to n a ij =a ij -m ik a kj {apply transformation end to remaining submatrix} end

Example Cari M 1, M 2 dan M 3 lalu temukan L dan U, kemudian pecahkan x 1,x 2,dan x 3 !

Problem of LU Factorization (LUF) Metode LUF tidak bisa dipakai jika elemen diagonal matrix A bernilai nol/sangat kecil, meskipun A adalah nonsingular. Masalah ini diatasi dengan melakukan pivoting, yaitu menukar baris matrix yang elemen diagonalnya nol/sangat kecil dgn baris yang lain yang elemen diagonalnya tidak nol./besar

Example 1 non-singular BUT no LU factorization non-singular and has LU factorization

Example 2 0<  <  mach In floating-point arithmetic !

Example 2 (contd.) In floating-point arithmetic !

Ax=b

for k=1 to n-1{Loop over columns} find index p such that {search for pivot |a pk | > |a ik | for k ≤ i ≤ n current column} if p ≠ k then{interchange rows, interchange rows k and pif necessary} if a kk =0 then {skip current column continue with next kif it’s zero already} for i=k+1 to n{compute multipliers m ik =a ik /a kk for current column} end for j=k to n for i=k+1 to n a ij =a ij -m ik a kj {apply transformation end to remaining submatrix} end LU Factorization by Gaussian Elimination with Partial Pivoting

for k=1 to n{Loop over columns} a kk = sqrt(a kk ) for i=k+1 to n a ik =a ik /a kk end for j=k+1 to n for i=k+1 to n a ij =a ij -a ik a jk end Cholesky Factorization

d 1 =b 1 for i=2 to n m i =a i /d i-1 d i =b i -m i c i-1 end Banded System