l l a m a _ b i n _ r u n \ l l a m a - s e r v e r . e x e   :   g g m l _ c u d a _ i n i t :   f o u n d   2   C U D A   
 
 d e v i c e s   ( T o t a l   V R A M :   2 4 5 7 5   M i B ) : 
 
 X  : 1   8: 5 8 
 
 +   . . .   r t - S l e e p   3 ;   l l a m a _ b i n _ r u n \ l l a m a - s e r v e r . e x e   - - m o d e l   m o d e l 
 
 s \ Q w e n 3 . 5 - 3 5 B   . . . 
 
 +                                   ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ 
 
 ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ 
 
         +   C a t e g o r y I n f o                     :   N o t S p e c i f i e d :   ( g g m l _ c u d a _ i n i t : .   
 
       . . A M :   2 4 5 7 5   M i B ) : : S t r i n g )   [ ] ,   R e m o t e E x c e p t i o n 
 
         +   F u l l y Q u a l i f i e d E r r o r I d   :   N a t i v e C o m m a n d E r r o r 
 
   
 
     D e v i c e   0 :   N V I D I A   G e F o r c e   R T X   3 0 6 0 ,   c o m p u t e   c a p a b i l i t y   8 . 6 ,   V 
 
 M M :   y e s ,   V R A M :   1 2 2 8 7   M i B 
 
     D e v i c e   1 :   N V I D I A   G e F o r c e   R T X   3 0 6 0 ,   c o m p u t e   c a p a b i l i t y   8 . 6 ,   V 
 
 M M :   y e s ,   V R A M :   1 2 2 8 7   M i B 
 
 l o a d _ b a c k e n d :   l o a d e d   C U D A   b a c k e n d   f r o m   C : \ U s e r s \ V a r i e t - W o r k e r \ 
 
 D e s k t o p \ v a r i e t - l l m \ l l a m a _ b i n _ r u n \ g g m l - c u d a . d l l 
 
 l o a d _ b a c k e n d :   l o a d e d   R P C   b a c k e n d   f r o m   C : \ U s e r s \ V a r i e t - W o r k e r \ D 
 
 e s k t o p \ v a r i e t - l l m \ l l a m a _ b i n _ r u n \ g g m l - r p c . d l l 
 
 l o a d _ b a c k e n d :   l o a d e d   C P U   b a c k e n d   f r o m   C : \ U s e r s \ V a r i e t - W o r k e r \ D 
 
 e s k t o p \ v a r i e t - l l m \ l l a m a _ b i n _ r u n \ g g m l - c p u - h a s w e l l . d l l 
 
 s y s t e m   i n f o :   n _ t h r e a d s   =   6 ,   n _ t h r e a d s _ b a t c h   =   6 ,   t o t a l _ t h r e a d s 
 
   =   1 6 
 
 
 
 s y s t e m _ i n f o :   n _ t h r e a d s   =   6   ( n _ t h r e a d s _ b a t c h   =   6 )   /   1 6   |   C U D A   : 
 
   A R C H S   =   5 0 0 , 6 1 0 , 7 0 0 , 7 5 0 , 8 0 0 , 8 6 0 , 8 9 0   |   U S E _ G R A P H S   =   1   |   P E E R _ M 
 
 A X _ B A T C H _ S I Z E   =   1 2 8   |   C P U   :   S S E 3   =   1   |   S S S E 3   =   1   |   A V X   =   1   |   A 
 
 V X 2   =   1   |   F 1 6 C   =   1   |   F M A   =   1   |   B M I 2   =   1   |   L L A M A F I L E   =   1   |   O P E N 
 
 M P   =   1   |   R E P A C K   =   1   |   
 
 
 
 R u n n i n g   w i t h o u t   S S L 
 
 i n i t :   u s i n g   1 5   t h r e a d s   f o r   H T T P   s e r v e r 
 
 s t a r t :   b i n d i n g   p o r t   w i t h   d e f a u l t   a d d r e s s   f a m i l y 
 
 m a i n :   l o a d i n g   m o d e l 
 
 s r v         l o a d _ m o d e l :   l o a d i n g   m o d e l   ' m o d e l s \ Q w e n 3 . 5 - 3 5 B - A 3 B - Q 4 _ K _ 
 
 M . g g u f ' 
 
 c o m m o n _ i n i t _ r e s u l t :   f i t t i n g   p a r a m s   t o   d e v i c e   m e m o r y ,   f o r   b u g s   
 
 d u r i n g   t h i s   s t e p   t r y   t o   r e p r o d u c e   t h e m   w i t h   - f i t   o f f ,   o r   p r o v i 
 
 d e   - - v e r b o s e   l o g s   i f   t h e   b u g   o n l y   o c c u r s   w i t h   - f i t   o n 
 
 l l a m a _ p a r a m s _ f i t _ i m p l :   p r o j e c t e d   m e m o r y   u s e   w i t h   i n i t i a l   p a r a m 
 
 e t e r s   [ M i B ] : 
 
 l l a m a _ p a r a m s _ f i t _ i m p l :       -   C U D A 0   ( N V I D I A   G e F o r c e   R T X   3 0 6 0 ) :     1 
 
 2 2 8 7   t o t a l ,     1 0 7 4 6   u s e d ,         4 6 6   f r e e   v s .   t a r g e t   o f       1 0 2 4 
 
 l l a m a _ p a r a m s _ f i t _ i m p l :       -   C U D A 1   ( N V I D I A   G e F o r c e   R T X   3 0 6 0 ) :     1 
 
 2 2 8 7   t o t a l ,     1 2 2 1 4   u s e d ,     - 1 0 0 6   f r e e   v s .   t a r g e t   o f       1 0 2 4 
 
 l l a m a _ p a r a m s _ f i t _ i m p l :   p r o j e c t e d   t o   u s e   2 2 9 6 1   M i B   o f   d e v i c e   m e 
 
 m o r y   v s .   2 2 4 2 1   M i B   o f   f r e e   d e v i c e   m e m o r y 
 
 l l a m a _ p a r a m s _ f i t _ i m p l :   c a n n o t   m e e t   f r e e   m e m o r y   t a r g e t s   o n   a l l   
 
 d e v i c e s ,   n e e d   t o   u s e   2 5 8 8   M i B   l e s s   i n   t o t a l 
 
 l l a m a _ p a r a m s _ f i t _ i m p l :   c o n t e x t   s i z e   s e t   b y   u s e r   t o   2 6 2 1 4 4   - >   n 
 
 o   c h a n g e 
 
 l l a m a _ p a r a m s _ f i t :   f a i l e d   t o   f i t   p a r a m s   t o   f r e e   d e v i c e   m e m o r y :   
 
 n _ g p u _ l a y e r s   a l r e a d y   s e t   b y   u s e r   t o   9 9 9 ,   a b o r t 
 
 l l a m a _ p a r a m s _ f i t :   f i t t i n g   p a r a m s   t o   f r e e   m e m o r y   t o o k   0 . 5 4   s e c o 
 
 n d s 
 
 l l a m a _ m o d e l _ l o a d _ f r o m _ f i l e _ i m p l :   u s i n g   d e v i c e   C U D A 0   ( N V I D I A   G e 
 
 F o r c e   R T X   3 0 6 0 )   ( 0 0 0 0 : 0 4 : 0 0 . 0 )   -   1 1 2 4 5   M i B   f r e e 
 
 l l a m a _ m o d e l _ l o a d _ f r o m _ f i l e _ i m p l :   u s i n g   d e v i c e   C U D A 1   ( N V I D I A   G e 
 
 F o r c e   R T X   3 0 6 0 )   ( 0 0 0 0 : 0 6 : 0 0 . 0 )   -   1 1 2 4 0   M i B   f r e e 
 
 l l a m a _ m o d e l _ l o a d e r :   l o a d e d   m e t a   d a t a   w i t h   5 2   k e y - v a l u e   p a i r s   a 
 
 n d   7 3 3   t e n s o r s   f r o m   m o d e l s \ Q w e n 3 . 5 - 3 5 B - A 3 B - Q 4 _ K _ M . g g u f   ( v e r s i o 
 
 n   G G U F   V 3   ( l a t e s t ) ) 
 
 l l a m a _ m o d e l _ l o a d e r :   D u m p i n g   m e t a d a t a   k e y s / v a l u e s .   N o t e :   K V   o v e 
 
 r r i d e s   d o   n o t   a p p l y   i n   t h i s   o u t p u t . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       0 :                                               g e n e r a l . a r 
 
 c h i t e c t u r e   s t r                             =   q w e n 3 5 m o e 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       1 :                                                               g e 
 
 n e r a l . t y p e   s t r                             =   m o d e l 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       2 :                                           g e n e r a l . s a m p 
 
 l i n g . t o p _ k   i 3 2                             =   2 0 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       3 :                                           g e n e r a l . s a m p 
 
 l i n g . t o p _ p   f 3 2                             =   0 . 9 5 0 0 0 0 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       4 :                                             g e n e r a l . s a m 
 
 p l i n g . t e m p   f 3 2                             =   1 . 0 0 0 0 0 0 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       5 :                                                               g e 
 
 n e r a l . n a m e   s t r                             =   Q w e n 3 . 5 - 3 5 B - A 3 B 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       6 :                                                       g e n e r a 
 
 l . b a s e n a m e   s t r                             =   Q w e n 3 . 5 - 3 5 B - A 3 B 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       7 :                                               g e n e r a l . q u 
 
 a n t i z e d _ b y   s t r                             =   U n s l o t h 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       8 :                                                   g e n e r a l . 
 
 s i z e _ l a b e l   s t r                             =   3 5 B - A 3 B 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v       9 :                                                         g e n e r 
 
 a l . l i c e n s e   s t r                             =   a p a c h e - 2 . 0 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 0 :                                               g e n e r a l . l i 
 
 c e n s e . l i n k   s t r                             =   h t t p s : / / h u g g i n g f a c e . c o / Q w e n / Q w e n 
 
 3 . 5 - 3 . . . 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 1 :                                                       g e n e r a 
 
 l . r e p o _ u r l   s t r                             =   h t t p s : / / h u g g i n g f a c e . c o / u n s l o t h 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 2 :                                       g e n e r a l . b a s e _ m 
 
 o d e l . c o u n t   u 3 2                             =   1 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 3 :                                     g e n e r a l . b a s e _ m o 
 
 d e l . 0 . n a m e   s t r                             =   Q w e n 3 . 5   3 5 B   A 3 B 
 
 l l a m a _ m o d e l _ l o a d e r :   -   k v     1 4 :                     g e n e r a l . b a s e _ m o d e l . 0 . o r 
 
 g a n i z a t i o n   s t r                             =   Q w e n 
 
 