. \ l l a m a _ b i n _ r u n \ l l a m a - s e r 
 
 v e r . e x e   :   g g m l _ c u d a _ i n i t : 
 
   f o u n d   2   C U D A   d e v i c e s   ( T o 
 
 t a l   V R A M :   2 4 5 7 5   M i B ) : 
 
 X  : 1   8: 1 
 
 +   . \ l l a m a _ b i n _ r u n \ l l a m a - s 
 
 e r v e r . e x e   - - h e l p   2 > & 1   >   h 
 
 e l p _ f u l l . t x t ;   G e t - C o n   . . . 
 
 +   ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ 
 
 ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ 
 
 ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ ~ 
 
         +   C a t e g o r y I n f o               
 
               :   N o t S p e c i f i e d :       
 
     ( g g m l _ c u d a _ i n i t : . . . A       
 
   M :   2 4 5 7 5   M i B ) : : S t r i n         
 
 g )   [ ] ,   R e m o t e E x c e p t i         o 
 
 n 
 
         +   F u l l y Q u a l i f i e d E r r o   
 
       r I d   :   N a t i v e C o m m a n d E     
 
     r r o r 
 
   
 
     D e v i c e   0 :   N V I D I A   G e F o r c 
 
 e   R T X   3 0 6 0 ,   c o m p u t e   c a p a b 
 
 i l i t y   8 . 6 ,   V M M :   y e s ,   V R A M 
 
 :   1 2 2 8 7   M i B 
 
     D e v i c e   1 :   N V I D I A   G e F o r c 
 
 e   R T X   3 0 6 0 ,   c o m p u t e   c a p a b 
 
 i l i t y   8 . 6 ,   V M M :   y e s ,   V R A M 
 
 :   1 2 2 8 7   M i B 
 
 l o a d _ b a c k e n d :   l o a d e d   C U D A 
 
   b a c k e n d   f r o m   C : \ U s e r s \ V a 
 
 r i e t - W o r k e r \ D e s k t o p \ v a r i e 
 
 t - l l m \ l l a m a _ b i n _ r u n \ g g m l - 
 
 c u d a . d l l 
 
 l o a d _ b a c k e n d :   l o a d e d   R P C   
 
 b a c k e n d   f r o m   C : \ U s e r s \ V a r 
 
 i e t - W o r k e r \ D e s k t o p \ v a r i e t 
 
 - l l m \ l l a m a _ b i n _ r u n \ g g m l - r 
 
 p c . d l l 
 
 l o a d _ b a c k e n d :   l o a d e d   C P U   
 
 b a c k e n d   f r o m   C : \ U s e r s \ V a r 
 
 i e t - W o r k e r \ D e s k t o p \ v a r i e t 
 
 - l l m \ l l a m a _ b i n _ r u n \ g g m l - c 
 
 p u - h a s w e l l . d l l 
 
 - - - - -   c o m m o n   p a r a m s   - - - - - 
 
 
 
 - h ,         - - h e l p ,   - - u s a g e                                     p r i n t   u s a g e   a n d   e x i t 
 
 - - v e r s i o n                                                               s h o w   v e r s i o n   a n d   b u i l d   i n f o 
 
 - - l i c e n s e                                                               s h o w   s o u r c e   c o d e   l i c e n s e   a n d   d e p e n d e n c i e s 
 
 - c l ,       - - c a c h e - l i s t                                           s h o w   l i s t   o f   m o d e l s   i n   c a c h e 
 
 - - c o m p l e t i o n - b a s h                                               p r i n t   s o u r c e - a b l e   b a s h   c o m p l e t i o n   s c r i p t   f o r   l l a m a . c p p 
 
 - t ,         - - t h r e a d s   N                                             n u m b e r   o f   C P U   t h r e a d s   t o   u s e   d u r i n g   g e n e r a t i o n   ( d e f a u l t :   - 1 ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ T H R E A D S ) 
 
 - t b ,       - - t h r e a d s - b a t c h   N                                 n u m b e r   o f   t h r e a d s   t o   u s e   d u r i n g   b a t c h   a n d   p r o m p t   p r o c e s s i n g   ( d e f a u l t : 
 
                                                                                 s a m e   a s   - - t h r e a d s ) 
 
 - C ,         - - c p u - m a s k   M                                           C P U   a f f i n i t y   m a s k :   a r b i t r a r i l y   l o n g   h e x .   C o m p l e m e n t s   c p u - r a n g e 
 
                                                                                 ( d e f a u l t :   " " ) 
 
 - C r ,       - - c p u - r a n g e   l o - h i                                 r a n g e   o f   C P U s   f o r   a f f i n i t y .   C o m p l e m e n t s   - - c p u - m a s k 
 
 - - c p u - s t r i c t   < 0 | 1 >                                             u s e   s t r i c t   C P U   p l a c e m e n t   ( d e f a u l t :   0 ) 
 
 - - p r i o   N                                                                 s e t   p r o c e s s / t h r e a d   p r i o r i t y   :   l o w ( - 1 ) ,   n o r m a l ( 0 ) ,   m e d i u m ( 1 ) ,   h i g h ( 2 ) , 
 
                                                                                 r e a l t i m e ( 3 )   ( d e f a u l t :   0 ) 
 
 - - p o l l   < 0 . . . 1 0 0 >                                                 u s e   p o l l i n g   l e v e l   t o   w a i t   f o r   w o r k   ( 0   -   n o   p o l l i n g ,   d e f a u l t :   5 0 ) 
 
 - C b ,       - - c p u - m a s k - b a t c h   M                               C P U   a f f i n i t y   m a s k :   a r b i t r a r i l y   l o n g   h e x .   C o m p l e m e n t s   c p u - r a n g e - b a t c h 
 
                                                                                 ( d e f a u l t :   s a m e   a s   - - c p u - m a s k ) 
 
 - C r b ,     - - c p u - r a n g e - b a t c h   l o - h i                     r a n g e s   o f   C P U s   f o r   a f f i n i t y .   C o m p l e m e n t s   - - c p u - m a s k - b a t c h 
 
 - - c p u - s t r i c t - b a t c h   < 0 | 1 >                                 u s e   s t r i c t   C P U   p l a c e m e n t   ( d e f a u l t :   s a m e   a s   - - c p u - s t r i c t ) 
 
 - - p r i o - b a t c h   N                                                     s e t   p r o c e s s / t h r e a d   p r i o r i t y   :   0 - n o r m a l ,   1 - m e d i u m ,   2 - h i g h ,   3 - r e a l t i m e 
 
                                                                                 ( d e f a u l t :   0 ) 
 
 - - p o l l - b a t c h   < 0 | 1 >                                             u s e   p o l l i n g   t o   w a i t   f o r   w o r k   ( d e f a u l t :   s a m e   a s   - - p o l l ) 
 
 - c ,         - - c t x - s i z e   N                                           s i z e   o f   t h e   p r o m p t   c o n t e x t   ( d e f a u l t :   0 ,   0   =   l o a d e d   f r o m   m o d e l ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ C T X _ S I Z E ) 
 
 - n ,         - - p r e d i c t ,   - - n - p r e d i c t   N                   n u m b e r   o f   t o k e n s   t o   p r e d i c t   ( d e f a u l t :   - 1 ,   - 1   =   i n f i n i t y ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ N _ P R E D I C T ) 
 
 - b ,         - - b a t c h - s i z e   N                                       l o g i c a l   m a x i m u m   b a t c h   s i z e   ( d e f a u l t :   2 0 4 8 ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ B A T C H ) 
 
 - u b ,       - - u b a t c h - s i z e   N                                     p h y s i c a l   m a x i m u m   b a t c h   s i z e   ( d e f a u l t :   5 1 2 ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ U B A T C H ) 
 
 - - k e e p   N                                                                 n u m b e r   o f   t o k e n s   t o   k e e p   f r o m   t h e   i n i t i a l   p r o m p t   ( d e f a u l t :   0 ,   - 1   = 
 
                                                                                 a l l ) 
 
 - - s w a - f u l l                                                             u s e   f u l l - s i z e   S W A   c a c h e   ( d e f a u l t :   f a l s e ) 
 
                                                                                 [ ( m o r e 
 
                                                                                 i n f o ) ] ( h t t p s : / / g i t h u b . c o m / g g m l - o r g / l l a m a . c p p / p u l l / 1 3 1 9 4 # i s s u e c o m m e n t - 2 8 6 8 3 4 3 0 5 5 ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ S W A _ F U L L ) 
 
 - f a ,       - - f l a s h - a t t n   [ o n | o f f | a u t o ]               s e t   F l a s h   A t t e n t i o n   u s e   ( ' o n ' ,   ' o f f ' ,   o r   ' a u t o ' ,   d e f a u l t :   ' a u t o ' ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ F L A S H _ A T T N ) 
 
 - - p e r f ,   - - n o - p e r f                                               w h e t h e r   t o   e n a b l e   i n t e r n a l   l i b l l a m a   p e r f o r m a n c e   t i m i n g s   ( d e f a u l t : 
 
                                                                                 f a l s e ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ P E R F ) 
 
 - e ,         - - e s c a p e ,   - - n o - e s c a p e                         w h e t h e r   t o   p r o c e s s   e s c a p e s   s e q u e n c e s   ( \ n ,   \ r ,   \ t ,   \ ' ,   \ " ,   \ \ ) 
 
                                                                                 ( d e f a u l t :   t r u e ) 
 
 - - r o p e - s c a l i n g   { n o n e , l i n e a r , y a r n }               R o P E   f r e q u e n c y   s c a l i n g   m e t h o d ,   d e f a u l t s   t o   l i n e a r   u n l e s s   s p e c i f i e d   b y 
 
                                                                                 t h e   m o d e l 
 
                                                                                 ( e n v :   L L A M A _ A R G _ R O P E _ S C A L I N G _ T Y P E ) 
 
 - - r o p e - s c a l e   N                                                     R o P E   c o n t e x t   s c a l i n g   f a c t o r ,   e x p a n d s   c o n t e x t   b y   a   f a c t o r   o f   N 
 
                                                                                 ( e n v :   L L A M A _ A R G _ R O P E _ S C A L E ) 
 
 - - r o p e - f r e q - b a s e   N                                             R o P E   b a s e   f r e q u e n c y ,   u s e d   b y   N T K - a w a r e   s c a l i n g   ( d e f a u l t :   l o a d e d   f r o m 
 
                                                                                 m o d e l ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ R O P E _ F R E Q _ B A S E ) 
 
 - - r o p e - f r e q - s c a l e   N                                           R o P E   f r e q u e n c y   s c a l i n g   f a c t o r ,   e x p a n d s   c o n t e x t   b y   a   f a c t o r   o f   1 / N 
 
                                                                                 ( e n v :   L L A M A _ A R G _ R O P E _ F R E Q _ S C A L E ) 
 
 - - y a r n - o r i g - c t x   N                                               Y a R N :   o r i g i n a l   c o n t e x t   s i z e   o f   m o d e l   ( d e f a u l t :   0   =   m o d e l   t r a i n i n g 
 
                                                                                 c o n t e x t   s i z e ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ Y A R N _ O R I G _ C T X ) 
 
 - - y a r n - e x t - f a c t o r   N                                           Y a R N :   e x t r a p o l a t i o n   m i x   f a c t o r   ( d e f a u l t :   - 1 . 0 0 ,   0 . 0   =   f u l l 
 
                                                                                 i n t e r p o l a t i o n ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ Y A R N _ E X T _ F A C T O R ) 
 
 - - y a r n - a t t n - f a c t o r   N                                         Y a R N :   s c a l e   s q r t ( t )   o r   a t t e n t i o n   m a g n i t u d e   ( d e f a u l t :   - 1 . 0 0 ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ Y A R N _ A T T N _ F A C T O R ) 
 
 - - y a r n - b e t a - s l o w   N                                             Y a R N :   h i g h   c o r r e c t i o n   d i m   o r   a l p h a   ( d e f a u l t :   - 1 . 0 0 ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ Y A R N _ B E T A _ S L O W ) 
 
 - - y a r n - b e t a - f a s t   N                                             Y a R N :   l o w   c o r r e c t i o n   d i m   o r   b e t a   ( d e f a u l t :   - 1 . 0 0 ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ Y A R N _ B E T A _ F A S T ) 
 
 - k v o ,     - - k v - o f f l o a d ,   - n k v o ,   - - n o - k v - o f f l o a d 
 
                                                                                 w h e t h e r   t o   e n a b l e   K V   c a c h e   o f f l o a d i n g   ( d e f a u l t :   e n a b l e d ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ K V _ O F F L O A D ) 
 
 - - r e p a c k ,   - n r ,   - - n o - r e p a c k                             w h e t h e r   t o   e n a b l e   w e i g h t   r e p a c k i n g   ( d e f a u l t :   e n a b l e d ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ R E P A C K ) 
 
 - - n o - h o s t                                                               b y p a s s   h o s t   b u f f e r   a l l o w i n g   e x t r a   b u f f e r s   t o   b e   u s e d 
 
                                                                                 ( e n v :   L L A M A _ A R G _ N O _ H O S T ) 
 
 - c t k ,     - - c a c h e - t y p e - k   T Y P E                             K V   c a c h e   d a t a   t y p e   f o r   K 
 
                                                                                 a l l o w e d   v a l u e s :   f 3 2 ,   f 1 6 ,   b f 1 6 ,   q 8 _ 0 ,   q 4 _ 0 ,   q 4 _ 1 ,   i q 4 _ n l ,   q 5 _ 0 ,   q 5 _ 1 
 
                                                                                 ( d e f a u l t :   f 1 6 ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ C A C H E _ T Y P E _ K ) 
 
 - c t v ,     - - c a c h e - t y p e - v   T Y P E                             K V   c a c h e   d a t a   t y p e   f o r   V 
 
                                                                                 a l l o w e d   v a l u e s :   f 3 2 ,   f 1 6 ,   b f 1 6 ,   q 8 _ 0 ,   q 4 _ 0 ,   q 4 _ 1 ,   i q 4 _ n l ,   q 5 _ 0 ,   q 5 _ 1 
 
                                                                                 ( d e f a u l t :   f 1 6 ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ C A C H E _ T Y P E _ V ) 
 
 - d t ,       - - d e f r a g - t h o l d   N                                   K V   c a c h e   d e f r a g m e n t a t i o n   t h r e s h o l d   ( D E P R E C A T E D ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ D E F R A G _ T H O L D ) 
 
 - - r p c   S E R V E R S                                                       c o m m a   s e p a r a t e d   l i s t   o f   R P C   s e r v e r s   ( h o s t : p o r t ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ R P C ) 
 
 - - m l o c k                                                                   f o r c e   s y s t e m   t o   k e e p   m o d e l   i n   R A M   r a t h e r   t h a n   s w a p p i n g   o r   c o m p r e s s i n g 
 
                                                                                 ( e n v :   L L A M A _ A R G _ M L O C K ) 
 
 - - m m a p ,   - - n o - m m a p                                               w h e t h e r   t o   m e m o r y - m a p   m o d e l .   ( i f   m m a p   d i s a b l e d ,   s l o w e r   l o a d   b u t   m a y 
 
                                                                                 r e d u c e   p a g e o u t s   i f   n o t   u s i n g   m l o c k )   ( d e f a u l t :   e n a b l e d ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ M M A P ) 
 
 - d i o ,     - - d i r e c t - i o ,   - n d i o ,   - - n o - d i r e c t - i o 
 
                                                                                 u s e   D i r e c t I O   i f   a v a i l a b l e .   ( d e f a u l t :   d i s a b l e d ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ D I O ) 
 
 - - n u m a   T Y P E                                                           a t t e m p t   o p t i m i z a t i o n s   t h a t   h e l p   o n   s o m e   N U M A   s y s t e m s 
 
                                                                                 -   d i s t r i b u t e :   s p r e a d   e x e c u t i o n   e v e n l y   o v e r   a l l   n o d e s 
 
                                                                                 -   i s o l a t e :   o n l y   s p a w n   t h r e a d s   o n   C P U s   o n   t h e   n o d e   t h a t   e x e c u t i o n 
 
                                                                                 s t a r t e d   o n 
 
                                                                                 -   n u m a c t l :   u s e   t h e   C P U   m a p   p r o v i d e d   b y   n u m a c t l 
 
                                                                                 i f   r u n   w i t h o u t   t h i s   p r e v i o u s l y ,   i t   i s   r e c o m m e n d e d   t o   d r o p   t h e   s y s t e m 
 
                                                                                 p a g e   c a c h e   b e f o r e   u s i n g   t h i s 
 
                                                                                 s e e   h t t p s : / / g i t h u b . c o m / g g m l - o r g / l l a m a . c p p / i s s u e s / 1 4 3 7 
 
                                                                                 ( e n v :   L L A M A _ A R G _ N U M A ) 
 
 - d e v ,     - - d e v i c e   < d e v 1 , d e v 2 , . . >                     c o m m a - s e p a r a t e d   l i s t   o f   d e v i c e s   t o   u s e   f o r   o f f l o a d i n g   ( n o n e   =   d o n ' t 
 
                                                                                 o f f l o a d ) 
 
                                                                                 u s e   - - l i s t - d e v i c e s   t o   s e e   a   l i s t   o f   a v a i l a b l e   d e v i c e s 
 
                                                                                 ( e n v :   L L A M A _ A R G _ D E V I C E ) 
 
 - - l i s t - d e v i c e s                                                     p r i n t   l i s t   o f   a v a i l a b l e   d e v i c e s   a n d   e x i t 
 
 - o t ,       - - o v e r r i d e - t e n s o r   < t e n s o r   n a m e   p a t t e r n > = < b u f f e r   t y p e > , . . . 
 
                                                                                 o v e r r i d e   t e n s o r   b u f f e r   t y p e 
 
                                                                                 ( e n v :   L L A M A _ A R G _ O V E R R I D E _ T E N S O R ) 
 
 - c m o e ,   - - c p u - m o e                                                 k e e p   a l l   M i x t u r e   o f   E x p e r t s   ( M o E )   w e i g h t s   i n   t h e   C P U 
 
                                                                                 ( e n v :   L L A M A _ A R G _ C P U _ M O E ) 
 
 - n c m o e ,   - - n - c p u - m o e   N                                       k e e p   t h e   M i x t u r e   o f   E x p e r t s   ( M o E )   w e i g h t s   o f   t h e   f i r s t   N   l a y e r s   i n   t h e 
 
                                                                                 C P U 
 
                                                                                 ( e n v :   L L A M A _ A R G _ N _ C P U _ M O E ) 
 
 - n g l ,     - - g p u - l a y e r s ,   - - n - g p u - l a y e r s   N       m a x .   n u m b e r   o f   l a y e r s   t o   s t o r e   i n   V R A M ,   e i t h e r   a n   e x a c t   n u m b e r , 
 
                                                                                 ' a u t o ' ,   o r   ' a l l '   ( d e f a u l t :   a u t o ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ N _ G P U _ L A Y E R S ) 
 
 - s m ,       - - s p l i t - m o d e   { n o n e , l a y e r , r o w }         h o w   t o   s p l i t   t h e   m o d e l   a c r o s s   m u l t i p l e   G P U s ,   o n e   o f : 
 
                                                                                 -   n o n e :   u s e   o n e   G P U   o n l y 
 
                                                                                 -   l a y e r   ( d e f a u l t ) :   s p l i t   l a y e r s   a n d   K V   a c r o s s   G P U s 
 
                                                                                 -   r o w :   s p l i t   r o w s   a c r o s s   G P U s 
 
                                                                                 ( e n v :   L L A M A _ A R G _ S P L I T _ M O D E ) 
 
 - t s ,       - - t e n s o r - s p l i t   N 0 , N 1 , N 2 , . . .             f r a c t i o n   o f   t h e   m o d e l   t o   o f f l o a d   t o   e a c h   G P U ,   c o m m a - s e p a r a t e d   l i s t   o f 
 
                                                                                 p r o p o r t i o n s ,   e . g .   3 , 1 
 
                                                                                 ( e n v :   L L A M A _ A R G _ T E N S O R _ S P L I T ) 
 
 - m g ,       - - m a i n - g p u   I N D E X                                   t h e   G P U   t o   u s e   f o r   t h e   m o d e l   ( w i t h   s p l i t - m o d e   =   n o n e ) ,   o r   f o r 
 
                                                                                 i n t e r m e d i a t e   r e s u l t s   a n d   K V   ( w i t h   s p l i t - m o d e   =   r o w )   ( d e f a u l t :   0 ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ M A I N _ G P U ) 
 
 - f i t ,     - - f i t   [ o n | o f f ]                                       w h e t h e r   t o   a d j u s t   u n s e t   a r g u m e n t s   t o   f i t   i n   d e v i c e   m e m o r y   ( ' o n '   o r 
 
                                                                                 ' o f f ' ,   d e f a u l t :   ' o n ' ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ F I T ) 
 
 - f i t t ,   - - f i t - t a r g e t   M i B 0 , M i B 1 , M i B 2 , . . . 
 
                                                                                 t a r g e t   m a r g i n   p e r   d e v i c e   f o r   - - f i t ,   c o m m a - s e p a r a t e d   l i s t   o f   v a l u e s , 
 
                                                                                 s i n g l e   v a l u e   i s   b r o a d c a s t   a c r o s s   a l l   d e v i c e s ,   d e f a u l t :   1 0 2 4 
 
                                                                                 ( e n v :   L L A M A _ A R G _ F I T _ T A R G E T ) 
 
 - f i t c ,   - - f i t - c t x   N                                             m i n i m u m   c t x   s i z e   t h a t   c a n   b e   s e t   b y   - - f i t   o p t i o n ,   d e f a u l t :   4 0 9 6 
 
                                                                                 ( e n v :   L L A M A _ A R G _ F I T _ C T X ) 
 
 - - c h e c k - t e n s o r s                                                   c h e c k   m o d e l   t e n s o r   d a t a   f o r   i n v a l i d   v a l u e s   ( d e f a u l t :   f a l s e ) 
 
 - - o v e r r i d e - k v   K E Y = T Y P E : V A L U E , . . .                 a d v a n c e d   o p t i o n   t o   o v e r r i d e   m o d e l   m e t a d a t a   b y   k e y .   t o   s p e c i f y   m u l t i p l e 
 
                                                                                 o v e r r i d e s ,   e i t h e r   u s e   c o m m a - s e p a r a t e d   v a l u e s . 
 
                                                                                 t y p e s :   i n t ,   f l o a t ,   b o o l ,   s t r .   e x a m p l e :   - - o v e r r i d e - k v 
 
                                                                                 t o k e n i z e r . g g m l . a d d _ b o s _ t o k e n = b o o l : f a l s e , t o k e n i z e r . g g m l . a d d _ e o s _ t o k e n = b o o l : f a l s e 
 
 - - o p - o f f l o a d ,   - - n o - o p - o f f l o a d                       w h e t h e r   t o   o f f l o a d   h o s t   t e n s o r   o p e r a t i o n s   t o   d e v i c e   ( d e f a u l t :   t r u e ) 
 
 - - l o r a   F N A M E                                                         p a t h   t o   L o R A   a d a p t e r   ( u s e   c o m m a - s e p a r a t e d   v a l u e s   t o   l o a d   m u l t i p l e 
 
                                                                                 a d a p t e r s ) 
 
 - - l o r a - s c a l e d   F N A M E : S C A L E , . . .                       p a t h   t o   L o R A   a d a p t e r   w i t h   u s e r   d e f i n e d   s c a l i n g   ( f o r m a t : 
 
                                                                                 F N A M E : S C A L E , . . . ) 
 
                                                                                 n o t e :   u s e   c o m m a - s e p a r a t e d   v a l u e s 
 
 - - c o n t r o l - v e c t o r   F N A M E                                     a d d   a   c o n t r o l   v e c t o r 
 
                                                                                 n o t e :   u s e   c o m m a - s e p a r a t e d   v a l u e s   t o   a d d   m u l t i p l e   c o n t r o l   v e c t o r s 
 
 - - c o n t r o l - v e c t o r - s c a l e d   F N A M E : S C A L E , . . . 
 
                                                                                 a d d   a   c o n t r o l   v e c t o r   w i t h   u s e r   d e f i n e d   s c a l i n g   S C A L E 
 
                                                                                 n o t e :   u s e   c o m m a - s e p a r a t e d   v a l u e s   ( f o r m a t :   F N A M E : S C A L E , . . . ) 
 
 - - c o n t r o l - v e c t o r - l a y e r - r a n g e   S T A R T   E N D 
 
                                                                                 l a y e r   r a n g e   t o   a p p l y   t h e   c o n t r o l   v e c t o r ( s )   t o ,   s t a r t   a n d   e n d   i n c l u s i v e 
 
 - m ,         - - m o d e l   F N A M E                                         m o d e l   p a t h   t o   l o a d 
 
                                                                                 ( e n v :   L L A M A _ A R G _ M O D E L ) 
 
 - m u ,       - - m o d e l - u r l   M O D E L _ U R L                         m o d e l   d o w n l o a d   u r l   ( d e f a u l t :   u n u s e d ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ M O D E L _ U R L ) 
 
 - d r ,       - - d o c k e r - r e p o   [ < r e p o > / ] < m o d e l > [ : q u a n t ] 
 
                                                                                 D o c k e r   H u b   m o d e l   r e p o s i t o r y .   r e p o   i s   o p t i o n a l ,   d e f a u l t   t o   a i / .   q u a n t 
 
                                                                                 i s   o p t i o n a l ,   d e f a u l t   t o   : l a t e s t . 
 
                                                                                 e x a m p l e :   g e m m a 3 
 
                                                                                 ( d e f a u l t :   u n u s e d ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ D O C K E R _ R E P O ) 
 
 - h f ,       - h f r ,   - - h f - r e p o   < u s e r > / < m o d e l > [ : q u a n t ] 
 
                                                                                 H u g g i n g   F a c e   m o d e l   r e p o s i t o r y ;   q u a n t   i s   o p t i o n a l ,   c a s e - i n s e n s i t i v e , 
 
                                                                                 d e f a u l t   t o   Q 4 _ K _ M ,   o r   f a l l s   b a c k   t o   t h e   f i r s t   f i l e   i n   t h e   r e p o   i f 
 
                                                                                 Q 4 _ K _ M   d o e s n ' t   e x i s t . 
 
                                                                                 m m p r o j   i s   a l s o   d o w n l o a d e d   a u t o m a t i c a l l y   i f   a v a i l a b l e .   t o   d i s a b l e ,   a d d 
 
                                                                                 - - n o - m m p r o j 
 
                                                                                 e x a m p l e :   g g m l - o r g / G L M - 4 . 7 - F l a s h - G G U F : Q 4 _ K _ M 
 
                                                                                 ( d e f a u l t :   u n u s e d ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ H F _ R E P O ) 
 
 - h f d ,     - h f r d ,   - - h f - r e p o - d r a f t   < u s e r > / < m o d e l > [ : q u a n t ] 
 
                                                                                 S a m e   a s   - - h f - r e p o ,   b u t   f o r   t h e   d r a f t   m o d e l   ( d e f a u l t :   u n u s e d ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ H F D _ R E P O ) 
 
 - h f f ,     - - h f - f i l e   F I L E                                       H u g g i n g   F a c e   m o d e l   f i l e .   I f   s p e c i f i e d ,   i t   w i l l   o v e r r i d e   t h e   q u a n t   i n 
 
                                                                                 - - h f - r e p o   ( d e f a u l t :   u n u s e d ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ H F _ F I L E ) 
 
 - h f v ,     - h f r v ,   - - h f - r e p o - v   < u s e r > / < m o d e l > [ : q u a n t ] 
 
                                                                                 H u g g i n g   F a c e   m o d e l   r e p o s i t o r y   f o r   t h e   v o c o d e r   m o d e l   ( d e f a u l t :   u n u s e d ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ H F _ R E P O _ V ) 
 
 - h f f v ,   - - h f - f i l e - v   F I L E                                   H u g g i n g   F a c e   m o d e l   f i l e   f o r   t h e   v o c o d e r   m o d e l   ( d e f a u l t :   u n u s e d ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ H F _ F I L E _ V ) 
 
 - h f t ,     - - h f - t o k e n   T O K E N                                   H u g g i n g   F a c e   a c c e s s   t o k e n   ( d e f a u l t :   v a l u e   f r o m   H F _ T O K E N   e n v i r o n m e n t 
 
                                                                                 v a r i a b l e ) 
 
                                                                                 ( e n v :   H F _ T O K E N ) 
 
 - - l o g - d i s a b l e                                                       L o g   d i s a b l e 
 
 - - l o g - f i l e   F N A M E                                                 L o g   t o   f i l e 
 
                                                                                 ( e n v :   L L A M A _ L O G _ F I L E ) 
 
 - - l o g - c o l o r s   [ o n | o f f | a u t o ]                             S e t   c o l o r e d   l o g g i n g   ( ' o n ' ,   ' o f f ' ,   o r   ' a u t o ' ,   d e f a u l t :   ' a u t o ' ) 
 
                                                                                 ' a u t o '   e n a b l e s   c o l o r s   w h e n   o u t p u t   i s   t o   a   t e r m i n a l 
 
                                                                                 ( e n v :   L L A M A _ L O G _ C O L O R S ) 
 
 - v ,         - - v e r b o s e ,   - - l o g - v e r b o s e                   S e t   v e r b o s i t y   l e v e l   t o   i n f i n i t y   ( i . e .   l o g   a l l   m e s s a g e s ,   u s e f u l   f o r 
 
                                                                                 d e b u g g i n g ) 
 
 - - o f f l i n e                                                               O f f l i n e   m o d e :   f o r c e s   u s e   o f   c a c h e ,   p r e v e n t s   n e t w o r k   a c c e s s 
 
                                                                                 ( e n v :   L L A M A _ O F F L I N E ) 
 
 - l v ,       - - v e r b o s i t y ,   - - l o g - v e r b o s i t y   N       S e t   t h e   v e r b o s i t y   t h r e s h o l d .   M e s s a g e s   w i t h   a   h i g h e r   v e r b o s i t y   w i l l   b e 
 
                                                                                 i g n o r e d .   V a l u e s : 
 
                                                                                   -   0 :   g e n e r i c   o u t p u t 
 
                                                                                   -   1 :   e r r o r 
 
                                                                                   -   2 :   w a r n i n g 
 
                                                                                   -   3 :   i n f o 
 
                                                                                   -   4 :   d e b u g 
 
                                                                                 ( d e f a u l t :   3 ) 
 
                                                                                 
 
                                                                                 ( e n v :   L L A M A _ L O G _ V E R B O S I T Y ) 
 
 - - l o g - p r e f i x                                                         E n a b l e   p r e f i x   i n   l o g   m e s s a g e s 
 
                                                                                 ( e n v :   L L A M A _ L O G _ P R E F I X ) 
 
 - - l o g - t i m e s t a m p s                                                 E n a b l e   t i m e s t a m p s   i n   l o g   m e s s a g e s 
 
                                                                                 ( e n v :   L L A M A _ L O G _ T I M E S T A M P S ) 
 
 - c t k d ,   - - c a c h e - t y p e - k - d r a f t   T Y P E                 K V   c a c h e   d a t a   t y p e   f o r   K   f o r   t h e   d r a f t   m o d e l 
 
                                                                                 a l l o w e d   v a l u e s :   f 3 2 ,   f 1 6 ,   b f 1 6 ,   q 8 _ 0 ,   q 4 _ 0 ,   q 4 _ 1 ,   i q 4 _ n l ,   q 5 _ 0 ,   q 5 _ 1 
 
                                                                                 ( d e f a u l t :   f 1 6 ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ C A C H E _ T Y P E _ K _ D R A F T ) 
 
 - c t v d ,   - - c a c h e - t y p e - v - d r a f t   T Y P E                 K V   c a c h e   d a t a   t y p e   f o r   V   f o r   t h e   d r a f t   m o d e l 
 
                                                                                 a l l o w e d   v a l u e s :   f 3 2 ,   f 1 6 ,   b f 1 6 ,   q 8 _ 0 ,   q 4 _ 0 ,   q 4 _ 1 ,   i q 4 _ n l ,   q 5 _ 0 ,   q 5 _ 1 
 
                                                                                 ( d e f a u l t :   f 1 6 ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ C A C H E _ T Y P E _ V _ D R A F T ) 
 
 
 
 
 
 - - - - -   s a m p l i n g   p a r a m s   - - - - - 
 
 
 
 - - s a m p l e r s   S A M P L E R S                                           s a m p l e r s   t h a t   w i l l   b e   u s e d   f o r   g e n e r a t i o n   i n   t h e   o r d e r ,   s e p a r a t e d   b y 
 
                                                                                 ' ; ' 
 
                                                                                 ( d e f a u l t : 
 
                                                                                 p e n a l t i e s ; d r y ; t o p _ n _ s i g m a ; t o p _ k ; t y p _ p ; t o p _ p ; m i n _ p ; x t c ; t e m p e r a t u r e ) 
 
 - s ,         - - s e e d   S E E D                                             R N G   s e e d   ( d e f a u l t :   - 1 ,   u s e   r a n d o m   s e e d   f o r   - 1 ) 
 
 - - s a m p l e r - s e q ,   - - s a m p l i n g - s e q   S E Q U E N C E 
 
                                                                                 s i m p l i f i e d   s e q u e n c e   f o r   s a m p l e r s   t h a t   w i l l   b e   u s e d   ( d e f a u l t : 
 
                                                                                 e d s k y p m x t ) 
 
 - - i g n o r e - e o s                                                         i g n o r e   e n d   o f   s t r e a m   t o k e n   a n d   c o n t i n u e   g e n e r a t i n g   ( i m p l i e s 
 
                                                                                 - - l o g i t - b i a s   E O S - i n f ) 
 
 - - t e m p ,   - - t e m p e r a t u r e   N                                   t e m p e r a t u r e   ( d e f a u l t :   0 . 8 0 ) 
 
 - - t o p - k   N                                                               t o p - k   s a m p l i n g   ( d e f a u l t :   4 0 ,   0   =   d i s a b l e d ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ T O P _ K ) 
 
 - - t o p - p   N                                                               t o p - p   s a m p l i n g   ( d e f a u l t :   0 . 9 5 ,   1 . 0   =   d i s a b l e d ) 
 
 - - m i n - p   N                                                               m i n - p   s a m p l i n g   ( d e f a u l t :   0 . 0 5 ,   0 . 0   =   d i s a b l e d ) 
 
 - - t o p - n s i g m a ,   - - t o p - n - s i g m a   N                       t o p - n - s i g m a   s a m p l i n g   ( d e f a u l t :   - 1 . 0 0 ,   - 1 . 0   =   d i s a b l e d ) 
 
 - - x t c - p r o b a b i l i t y   N                                           x t c   p r o b a b i l i t y   ( d e f a u l t :   0 . 0 0 ,   0 . 0   =   d i s a b l e d ) 
 
 - - x t c - t h r e s h o l d   N                                               x t c   t h r e s h o l d   ( d e f a u l t :   0 . 1 0 ,   1 . 0   =   d i s a b l e d ) 
 
 - - t y p i c a l ,   - - t y p i c a l - p   N                                 l o c a l l y   t y p i c a l   s a m p l i n g ,   p a r a m e t e r   p   ( d e f a u l t :   1 . 0 0 ,   1 . 0   =   d i s a b l e d ) 
 
 - - r e p e a t - l a s t - n   N                                               l a s t   n   t o k e n s   t o   c o n s i d e r   f o r   p e n a l i z e   ( d e f a u l t :   6 4 ,   0   =   d i s a b l e d ,   - 1 
 
                                                                                 =   c t x _ s i z e ) 
 
 - - r e p e a t - p e n a l t y   N                                             p e n a l i z e   r e p e a t   s e q u e n c e   o f   t o k e n s   ( d e f a u l t :   1 . 0 0 ,   1 . 0   =   d i s a b l e d ) 
 
 - - p r e s e n c e - p e n a l t y   N                                         r e p e a t   a l p h a   p r e s e n c e   p e n a l t y   ( d e f a u l t :   0 . 0 0 ,   0 . 0   =   d i s a b l e d ) 
 
 - - f r e q u e n c y - p e n a l t y   N                                       r e p e a t   a l p h a   f r e q u e n c y   p e n a l t y   ( d e f a u l t :   0 . 0 0 ,   0 . 0   =   d i s a b l e d ) 
 
 - - d r y - m u l t i p l i e r   N                                             s e t   D R Y   s a m p l i n g   m u l t i p l i e r   ( d e f a u l t :   0 . 0 0 ,   0 . 0   =   d i s a b l e d ) 
 
 - - d r y - b a s e   N                                                         s e t   D R Y   s a m p l i n g   b a s e   v a l u e   ( d e f a u l t :   1 . 7 5 ) 
 
 - - d r y - a l l o w e d - l e n g t h   N                                     s e t   a l l o w e d   l e n g t h   f o r   D R Y   s a m p l i n g   ( d e f a u l t :   2 ) 
 
 - - d r y - p e n a l t y - l a s t - n   N                                     s e t   D R Y   p e n a l t y   f o r   t h e   l a s t   n   t o k e n s   ( d e f a u l t :   - 1 ,   0   =   d i s a b l e ,   - 1   = 
 
                                                                                 c o n t e x t   s i z e ) 
 
 - - d r y - s e q u e n c e - b r e a k e r   S T R I N G                       a d d   s e q u e n c e   b r e a k e r   f o r   D R Y   s a m p l i n g ,   c l e a r i n g   o u t   d e f a u l t   b r e a k e r s 
 
                                                                                 ( ' \ n ' ,   ' : ' ,   ' " ' ,   ' * ' )   i n   t h e   p r o c e s s ;   u s e   " n o n e "   t o   n o t   u s e   a n y 
 
                                                                                 s e q u e n c e   b r e a k e r s 
 
 - - a d a p t i v e - t a r g e t   N                                           a d a p t i v e - p :   s e l e c t   t o k e n s   n e a r   t h i s   p r o b a b i l i t y   ( v a l i d   r a n g e   0 . 0   t o 
 
                                                                                 1 . 0 ;   n e g a t i v e   =   d i s a b l e d )   ( d e f a u l t :   - 1 . 0 0 ) 
 
                                                                                 [ ( m o r e   i n f o ) ] ( h t t p s : / / g i t h u b . c o m / g g m l - o r g / l l a m a . c p p / p u l l / 1 7 9 2 7 ) 
 
 - - a d a p t i v e - d e c a y   N                                             a d a p t i v e - p :   d e c a y   r a t e   f o r   t a r g e t   a d a p t a t i o n   o v e r   t i m e .   l o w e r   v a l u e s 
 
                                                                                 a r e   m o r e   r e a c t i v e ,   h i g h e r   v a l u e s   a r e   m o r e   s t a b l e . 
 
                                                                                 ( v a l i d   r a n g e   0 . 0   t o   0 . 9 9 )   ( d e f a u l t :   0 . 9 0 ) 
 
 - - d y n a t e m p - r a n g e   N                                             d y n a m i c   t e m p e r a t u r e   r a n g e   ( d e f a u l t :   0 . 0 0 ,   0 . 0   =   d i s a b l e d ) 
 
 - - d y n a t e m p - e x p   N                                                 d y n a m i c   t e m p e r a t u r e   e x p o n e n t   ( d e f a u l t :   1 . 0 0 ) 
 
 - - m i r o s t a t   N                                                         u s e   M i r o s t a t   s a m p l i n g . 
 
                                                                                 T o p   K ,   N u c l e u s   a n d   L o c a l l y   T y p i c a l   s a m p l e r s   a r e   i g n o r e d   i f   u s e d . 
 
                                                                                 ( d e f a u l t :   0 ,   0   =   d i s a b l e d ,   1   =   M i r o s t a t ,   2   =   M i r o s t a t   2 . 0 ) 
 
 - - m i r o s t a t - l r   N                                                   M i r o s t a t   l e a r n i n g   r a t e ,   p a r a m e t e r   e t a   ( d e f a u l t :   0 . 1 0 ) 
 
 - - m i r o s t a t - e n t   N                                                 M i r o s t a t   t a r g e t   e n t r o p y ,   p a r a m e t e r   t a u   ( d e f a u l t :   5 . 0 0 ) 
 
 - l ,         - - l o g i t - b i a s   T O K E N _ I D ( + / - ) B I A S       m o d i f i e s   t h e   l i k e l i h o o d   o f   t o k e n   a p p e a r i n g   i n   t h e   c o m p l e t i o n , 
 
                                                                                 i . e .   ` - - l o g i t - b i a s   1 5 0 4 3 + 1 `   t o   i n c r e a s e   l i k e l i h o o d   o f   t o k e n   '   H e l l o ' , 
 
                                                                                 o r   ` - - l o g i t - b i a s   1 5 0 4 3 - 1 `   t o   d e c r e a s e   l i k e l i h o o d   o f   t o k e n   '   H e l l o ' 
 
 - - g r a m m a r   G R A M M A R                                               B N F - l i k e   g r a m m a r   t o   c o n s t r a i n   g e n e r a t i o n s   ( s e e   s a m p l e s   i n   g r a m m a r s / 
 
                                                                                 d i r ) 
 
 - - g r a m m a r - f i l e   F N A M E                                         f i l e   t o   r e a d   g r a m m a r   f r o m 
 
 - j ,         - - j s o n - s c h e m a   S C H E M A                           J S O N   s c h e m a   t o   c o n s t r a i n   g e n e r a t i o n s   ( h t t p s : / / j s o n - s c h e m a . o r g / ) ,   e . g . 
 
                                                                                 ` { } `   f o r   a n y   J S O N   o b j e c t 
 
                                                                                 F o r   s c h e m a s   w /   e x t e r n a l   $ r e f s ,   u s e   - - g r a m m a r   + 
 
                                                                                 e x a m p l e / j s o n _ s c h e m a _ t o _ g r a m m a r . p y   i n s t e a d 
 
 - j f ,       - - j s o n - s c h e m a - f i l e   F I L E                     F i l e   c o n t a i n i n g   a   J S O N   s c h e m a   t o   c o n s t r a i n   g e n e r a t i o n s 
 
                                                                                 ( h t t p s : / / j s o n - s c h e m a . o r g / ) ,   e . g .   ` { } `   f o r   a n y   J S O N   o b j e c t 
 
                                                                                 F o r   s c h e m a s   w /   e x t e r n a l   $ r e f s ,   u s e   - - g r a m m a r   + 
 
                                                                                 e x a m p l e / j s o n _ s c h e m a _ t o _ g r a m m a r . p y   i n s t e a d 
 
 - b s ,       - - b a c k e n d - s a m p l i n g                               e n a b l e   b a c k e n d   s a m p l i n g   ( e x p e r i m e n t a l )   ( d e f a u l t :   d i s a b l e d ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ B A C K E N D _ S A M P L I N G ) 
 
 
 
 
 
 - - - - -   e x a m p l e - s p e c i f i c   p a r a m s   - - - - - 
 
 
 
 - l c s ,     - - l o o k u p - c a c h e - s t a t i c   F N A M E             p a t h   t o   s t a t i c   l o o k u p   c a c h e   t o   u s e   f o r   l o o k u p   d e c o d i n g   ( n o t   u p d a t e d   b y 
 
                                                                                 g e n e r a t i o n ) 
 
 - l c d ,     - - l o o k u p - c a c h e - d y n a m i c   F N A M E           p a t h   t o   d y n a m i c   l o o k u p   c a c h e   t o   u s e   f o r   l o o k u p   d e c o d i n g   ( u p d a t e d   b y 
 
                                                                                 g e n e r a t i o n ) 
 
 - c t x c p ,   - - c t x - c h e c k p o i n t s ,   - - s w a - c h e c k p o i n t s   N 
 
                                                                                 m a x   n u m b e r   o f   c o n t e x t   c h e c k p o i n t s   t o   c r e a t e   p e r   s l o t   ( d e f a u l t : 
 
                                                                                 3 2 ) [ ( m o r e   i n f o ) ] ( h t t p s : / / g i t h u b . c o m / g g m l - o r g / l l a m a . c p p / p u l l / 1 5 2 9 3 ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ C T X _ C H E C K P O I N T S ) 
 
 - c p e n t ,   - - c h e c k p o i n t - e v e r y - n - t o k e n s   N       c r e a t e   a   c h e c k p o i n t   e v e r y   n   t o k e n s   d u r i n g   p r e f i l l   ( p r o c e s s i n g ) ,   - 1   t o 
 
                                                                                 d i s a b l e   ( d e f a u l t :   8 1 9 2 ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ C H E C K P O I N T _ E V E R Y _ N T ) 
 
 - c r a m ,   - - c a c h e - r a m   N                                         s e t   t h e   m a x i m u m   c a c h e   s i z e   i n   M i B   ( d e f a u l t :   8 1 9 2 ,   - 1   -   n o   l i m i t ,   0   - 
 
                                                                                 d i s a b l e ) [ ( m o r e 
 
                                                                                 i n f o ) ] ( h t t p s : / / g i t h u b . c o m / g g m l - o r g / l l a m a . c p p / p u l l / 1 6 3 9 1 ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ C A C H E _ R A M ) 
 
 - k v u ,     - - k v - u n i f i e d ,   - n o - k v u ,   - - n o - k v - u n i f i e d 
 
                                                                                 u s e   s i n g l e   u n i f i e d   K V   b u f f e r   s h a r e d   a c r o s s   a l l   s e q u e n c e s   ( d e f a u l t : 
 
                                                                                 e n a b l e d   i f   n u m b e r   o f   s l o t s   i s   a u t o ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ K V _ U N I F I E D ) 
 
 - - c l e a r - i d l e ,   - - n o - c l e a r - i d l e                       s a v e   a n d   c l e a r   i d l e   s l o t s   o n   n e w   t a s k   ( d e f a u l t :   e n a b l e d ,   r e q u i r e s 
 
                                                                                 u n i f i e d   K V   a n d   c a c h e - r a m ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ C L E A R _ I D L E ) 
 
 - - c o n t e x t - s h i f t ,   - - n o - c o n t e x t - s h i f t           w h e t h e r   t o   u s e   c o n t e x t   s h i f t   o n   i n f i n i t e   t e x t   g e n e r a t i o n   ( d e f a u l t : 
 
                                                                                 d i s a b l e d ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ C O N T E X T _ S H I F T ) 
 
 - r ,         - - r e v e r s e - p r o m p t   P R O M P T                     h a l t   g e n e r a t i o n   a t   P R O M P T ,   r e t u r n   c o n t r o l   i n   i n t e r a c t i v e   m o d e 
 
 - s p ,       - - s p e c i a l                                                 s p e c i a l   t o k e n s   o u t p u t   e n a b l e d   ( d e f a u l t :   f a l s e ) 
 
 - - w a r m u p ,   - - n o - w a r m u p                                       w h e t h e r   t o   p e r f o r m   w a r m u p   w i t h   a n   e m p t y   r u n   ( d e f a u l t :   e n a b l e d ) 
 
 - - s p m - i n f i l l                                                         u s e   S u f f i x / P r e f i x / M i d d l e   p a t t e r n   f o r   i n f i l l   ( i n s t e a d   o f 
 
                                                                                 P r e f i x / S u f f i x / M i d d l e )   a s   s o m e   m o d e l s   p r e f e r   t h i s .   ( d e f a u l t :   d i s a b l e d ) 
 
 - - p o o l i n g   { n o n e , m e a n , c l s , l a s t , r a n k }           p o o l i n g   t y p e   f o r   e m b e d d i n g s ,   u s e   m o d e l   d e f a u l t   i f   u n s p e c i f i e d 
 
                                                                                 ( e n v :   L L A M A _ A R G _ P O O L I N G ) 
 
 - n p ,       - - p a r a l l e l   N                                           n u m b e r   o f   s e r v e r   s l o t s   ( d e f a u l t :   - 1 ,   - 1   =   a u t o ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ N _ P A R A L L E L ) 
 
 - c b ,       - - c o n t - b a t c h i n g ,   - n o c b ,   - - n o - c o n t - b a t c h i n g 
 
                                                                                 w h e t h e r   t o   e n a b l e   c o n t i n u o u s   b a t c h i n g   ( a . k . a   d y n a m i c   b a t c h i n g ) 
 
                                                                                 ( d e f a u l t :   e n a b l e d ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ C O N T _ B A T C H I N G ) 
 
 - m m ,       - - m m p r o j   F I L E                                         p a t h   t o   a   m u l t i m o d a l   p r o j e c t o r   f i l e .   s e e   t o o l s / m t m d / R E A D M E . m d 
 
                                                                                 n o t e :   i f   - h f   i s   u s e d ,   t h i s   a r g u m e n t   c a n   b e   o m i t t e d 
 
                                                                                 ( e n v :   L L A M A _ A R G _ M M P R O J ) 
 
 - m m u ,     - - m m p r o j - u r l   U R L                                   U R L   t o   a   m u l t i m o d a l   p r o j e c t o r   f i l e .   s e e   t o o l s / m t m d / R E A D M E . m d 
 
                                                                                 ( e n v :   L L A M A _ A R G _ M M P R O J _ U R L ) 
 
 - - m m p r o j - a u t o ,   - - n o - m m p r o j ,   - - n o - m m p r o j - a u t o 
 
                                                                                 w h e t h e r   t o   u s e   m u l t i m o d a l   p r o j e c t o r   f i l e   ( i f   a v a i l a b l e ) ,   u s e f u l   w h e n 
 
                                                                                 u s i n g   - h f   ( d e f a u l t :   e n a b l e d ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ M M P R O J _ A U T O ) 
 
 - - m m p r o j - o f f l o a d ,   - - n o - m m p r o j - o f f l o a d       w h e t h e r   t o   e n a b l e   G P U   o f f l o a d i n g   f o r   m u l t i m o d a l   p r o j e c t o r   ( d e f a u l t : 
 
                                                                                 e n a b l e d ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ M M P R O J _ O F F L O A D ) 
 
 - - i m a g e - m i n - t o k e n s   N                                         m i n i m u m   n u m b e r   o f   t o k e n s   e a c h   i m a g e   c a n   t a k e ,   o n l y   u s e d   b y   v i s i o n 
 
                                                                                 m o d e l s   w i t h   d y n a m i c   r e s o l u t i o n   ( d e f a u l t :   r e a d   f r o m   m o d e l ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ I M A G E _ M I N _ T O K E N S ) 
 
 - - i m a g e - m a x - t o k e n s   N                                         m a x i m u m   n u m b e r   o f   t o k e n s   e a c h   i m a g e   c a n   t a k e ,   o n l y   u s e d   b y   v i s i o n 
 
                                                                                 m o d e l s   w i t h   d y n a m i c   r e s o l u t i o n   ( d e f a u l t :   r e a d   f r o m   m o d e l ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ I M A G E _ M A X _ T O K E N S ) 
 
 - o t d ,     - - o v e r r i d e - t e n s o r - d r a f t   < t e n s o r   n a m e   p a t t e r n > = < b u f f e r   t y p e > , . . . 
 
                                                                                 o v e r r i d e   t e n s o r   b u f f e r   t y p e   f o r   d r a f t   m o d e l 
 
 - c m o e d ,   - - c p u - m o e - d r a f t                                   k e e p   a l l   M i x t u r e   o f   E x p e r t s   ( M o E )   w e i g h t s   i n   t h e   C P U   f o r   t h e   d r a f t 
 
                                                                                 m o d e l 
 
                                                                                 ( e n v :   L L A M A _ A R G _ C P U _ M O E _ D R A F T ) 
 
 - n c m o e d ,   - - n - c p u - m o e - d r a f t   N                         k e e p   t h e   M i x t u r e   o f   E x p e r t s   ( M o E )   w e i g h t s   o f   t h e   f i r s t   N   l a y e r s   i n   t h e 
 
                                                                                 C P U   f o r   t h e   d r a f t   m o d e l 
 
                                                                                 ( e n v :   L L A M A _ A R G _ N _ C P U _ M O E _ D R A F T ) 
 
 - a ,         - - a l i a s   S T R I N G                                       s e t   m o d e l   n a m e   a l i a s e s ,   c o m m a - s e p a r a t e d   ( t o   b e   u s e d   b y   A P I ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ A L I A S ) 
 
 - - t a g s   S T R I N G                                                       s e t   m o d e l   t a g s ,   c o m m a - s e p a r a t e d   ( i n f o r m a t i o n a l ,   n o t   u s e d   f o r   r o u t i n g ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ T A G S ) 
 
 - - h o s t   H O S T                                                           i p   a d d r e s s   t o   l i s t e n ,   o r   b i n d   t o   a n   U N I X   s o c k e t   i f   t h e   a d d r e s s   e n d s 
 
                                                                                 w i t h   . s o c k   ( d e f a u l t :   1 2 7 . 0 . 0 . 1 ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ H O S T ) 
 
 - - p o r t   P O R T                                                           p o r t   t o   l i s t e n   ( d e f a u l t :   8 0 8 0 ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ P O R T ) 
 
 - - r e u s e - p o r t                                                         a l l o w   m u l t i p l e   s o c k e t s   t o   b i n d   t o   t h e   s a m e   p o r t   ( d e f a u l t :   d i s a b l e d ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ R E U S E _ P O R T ) 
 
 - - p a t h   P A T H                                                           p a t h   t o   s e r v e   s t a t i c   f i l e s   f r o m   ( d e f a u l t :   ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ S T A T I C _ P A T H ) 
 
 - - a p i - p r e f i x   P R E F I X                                           p r e f i x   p a t h   t h e   s e r v e r   s e r v e s   f r o m ,   w i t h o u t   t h e   t r a i l i n g   s l a s h 
 
                                                                                 ( d e f a u l t :   ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ A P I _ P R E F I X ) 
 
 - - w e b u i - c o n f i g   J S O N                                           J S O N   t h a t   p r o v i d e s   d e f a u l t   W e b U I   s e t t i n g s   ( o v e r r i d e s   W e b U I   d e f a u l t s ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ W E B U I _ C O N F I G ) 
 
 - - w e b u i - c o n f i g - f i l e   P A T H                                 J S O N   f i l e   t h a t   p r o v i d e s   d e f a u l t   W e b U I   s e t t i n g s   ( o v e r r i d e s   W e b U I 
 
                                                                                 d e f a u l t s ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ W E B U I _ C O N F I G _ F I L E ) 
 
 - - w e b u i - m c p - p r o x y ,   - - n o - w e b u i - m c p - p r o x y 
 
                                                                                 e x p e r i m e n t a l :   w h e t h e r   t o   e n a b l e   M C P   C O R S   p r o x y   -   d o   n o t   e n a b l e   i n 
 
                                                                                 u n t r u s t e d   e n v i r o n m e n t s   ( d e f a u l t :   d i s a b l e d ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ W E B U I _ M C P _ P R O X Y ) 
 
 - - t o o l s   T O O L 1 , T O O L 2 , . . .                                   e x p e r i m e n t a l :   w h e t h e r   t o   e n a b l e   b u i l t - i n   t o o l s   f o r   A I   a g e n t s   -   d o   n o t 
 
                                                                                 e n a b l e   i n   u n t r u s t e d   e n v i r o n m e n t s   ( d e f a u l t :   n o   t o o l s ) 
 
                                                                                 s p e c i f y   " a l l "   t o   e n a b l e   a l l   t o o l s 
 
                                                                                 a v a i l a b l e   t o o l s :   r e a d _ f i l e ,   f i l e _ g l o b _ s e a r c h ,   g r e p _ s e a r c h , 
 
                                                                                 e x e c _ s h e l l _ c o m m a n d ,   w r i t e _ f i l e ,   e d i t _ f i l e ,   a p p l y _ d i f f 
 
                                                                                 ( e n v :   L L A M A _ A R G _ T O O L S ) 
 
 - - w e b u i ,   - - n o - w e b u i                                           w h e t h e r   t o   e n a b l e   t h e   W e b   U I   ( d e f a u l t :   e n a b l e d ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ W E B U I ) 
 
 - - e m b e d d i n g ,   - - e m b e d d i n g s                               r e s t r i c t   t o   o n l y   s u p p o r t   e m b e d d i n g   u s e   c a s e ;   u s e   o n l y   w i t h   d e d i c a t e d 
 
                                                                                 e m b e d d i n g   m o d e l s   ( d e f a u l t :   d i s a b l e d ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ E M B E D D I N G S ) 
 
 - - r e r a n k ,   - - r e r a n k i n g                                       e n a b l e   r e r a n k i n g   e n d p o i n t   o n   s e r v e r   ( d e f a u l t :   d i s a b l e d ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ R E R A N K I N G ) 
 
 - - a p i - k e y   K E Y                                                       A P I   k e y   t o   u s e   f o r   a u t h e n t i c a t i o n ,   m u l t i p l e   k e y s   c a n   b e   p r o v i d e d   a s   a 
 
                                                                                 c o m m a - s e p a r a t e d   l i s t   ( d e f a u l t :   n o n e ) 
 
                                                                                 ( e n v :   L L A M A _ A P I _ K E Y ) 
 
 - - a p i - k e y - f i l e   F N A M E                                         p a t h   t o   f i l e   c o n t a i n i n g   A P I   k e y s   ( d e f a u l t :   n o n e ) 
 
 - - s s l - k e y - f i l e   F N A M E                                         p a t h   t o   f i l e   a   P E M - e n c o d e d   S S L   p r i v a t e   k e y 
 
                                                                                 ( e n v :   L L A M A _ A R G _ S S L _ K E Y _ F I L E ) 
 
 - - s s l - c e r t - f i l e   F N A M E                                       p a t h   t o   f i l e   a   P E M - e n c o d e d   S S L   c e r t i f i c a t e 
 
                                                                                 ( e n v :   L L A M A _ A R G _ S S L _ C E R T _ F I L E ) 
 
 - - c h a t - t e m p l a t e - k w a r g s   S T R I N G                       s e t s   a d d i t i o n a l   p a r a m s   f o r   t h e   j s o n   t e m p l a t e   p a r s e r ,   m u s t   b e   a   v a l i d 
 
                                                                                 j s o n   o b j e c t   s t r i n g ,   e . g .   ' { " k e y 1 " : " v a l u e 1 " , " k e y 2 " : " v a l u e 2 " } ' 
 
                                                                                 ( e n v :   L L A M A _ C H A T _ T E M P L A T E _ K W A R G S ) 
 
 - t o ,       - - t i m e o u t   N                                             s e r v e r   r e a d / w r i t e   t i m e o u t   i n   s e c o n d s   ( d e f a u l t :   6 0 0 ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ T I M E O U T ) 
 
 - - t h r e a d s - h t t p   N                                                 n u m b e r   o f   t h r e a d s   u s e d   t o   p r o c e s s   H T T P   r e q u e s t s   ( d e f a u l t :   - 1 ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ T H R E A D S _ H T T P ) 
 
 - - c a c h e - p r o m p t ,   - - n o - c a c h e - p r o m p t               w h e t h e r   t o   e n a b l e   p r o m p t   c a c h i n g   ( d e f a u l t :   e n a b l e d ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ C A C H E _ P R O M P T ) 
 
 - - c a c h e - r e u s e   N                                                   m i n   c h u n k   s i z e   t o   a t t e m p t   r e u s i n g   f r o m   t h e   c a c h e   v i a   K V   s h i f t i n g , 
 
                                                                                 r e q u i r e s   p r o m p t   c a c h i n g   t o   b e   e n a b l e d   ( d e f a u l t :   0 ) 
 
                                                                                 [ ( c a r d ) ] ( h t t p s : / / g g m l . a i / f 0 . p n g ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ C A C H E _ R E U S E ) 
 
 - - m e t r i c s                                                               e n a b l e   p r o m e t h e u s   c o m p a t i b l e   m e t r i c s   e n d p o i n t   ( d e f a u l t :   d i s a b l e d ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ E N D P O I N T _ M E T R I C S ) 
 
 - - p r o p s                                                                   e n a b l e   c h a n g i n g   g l o b a l   p r o p e r t i e s   v i a   P O S T   / p r o p s   ( d e f a u l t :   d i s a b l e d ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ E N D P O I N T _ P R O P S ) 
 
 - - s l o t s ,   - - n o - s l o t s                                           e x p o s e   s l o t s   m o n i t o r i n g   e n d p o i n t   ( d e f a u l t :   e n a b l e d ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ E N D P O I N T _ S L O T S ) 
 
 - - s l o t - s a v e - p a t h   P A T H                                       p a t h   t o   s a v e   s l o t   k v   c a c h e   ( d e f a u l t :   d i s a b l e d ) 
 
 - - m e d i a - p a t h   P A T H                                               d i r e c t o r y   f o r   l o a d i n g   l o c a l   m e d i a   f i l e s ;   f i l e s   c a n   b e   a c c e s s e d   v i a 
 
                                                                                 f i l e : / /   U R L s   u s i n g   r e l a t i v e   p a t h s   ( d e f a u l t :   d i s a b l e d ) 
 
 - - m o d e l s - d i r   P A T H                                               d i r e c t o r y   c o n t a i n i n g   m o d e l s   f o r   t h e   r o u t e r   s e r v e r   ( d e f a u l t :   d i s a b l e d ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ M O D E L S _ D I R ) 
 
 - - m o d e l s - p r e s e t   P A T H                                         p a t h   t o   I N I   f i l e   c o n t a i n i n g   m o d e l   p r e s e t s   f o r   t h e   r o u t e r   s e r v e r 
 
                                                                                 ( d e f a u l t :   d i s a b l e d ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ M O D E L S _ P R E S E T ) 
 
 - - m o d e l s - m a x   N                                                     f o r   r o u t e r   s e r v e r ,   m a x i m u m   n u m b e r   o f   m o d e l s   t o   l o a d   s i m u l t a n e o u s l y 
 
                                                                                 ( d e f a u l t :   4 ,   0   =   u n l i m i t e d ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ M O D E L S _ M A X ) 
 
 - - m o d e l s - a u t o l o a d ,   - - n o - m o d e l s - a u t o l o a d 
 
                                                                                 f o r   r o u t e r   s e r v e r ,   w h e t h e r   t o   a u t o m a t i c a l l y   l o a d   m o d e l s   ( d e f a u l t : 
 
                                                                                 e n a b l e d ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ M O D E L S _ A U T O L O A D ) 
 
 - - j i n j a ,   - - n o - j i n j a                                           w h e t h e r   t o   u s e   j i n j a   t e m p l a t e   e n g i n e   f o r   c h a t   ( d e f a u l t :   e n a b l e d ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ J I N J A ) 
 
 - - r e a s o n i n g - f o r m a t   F O R M A T                               c o n t r o l s   w h e t h e r   t h o u g h t   t a g s   a r e   a l l o w e d   a n d / o r   e x t r a c t e d   f r o m   t h e 
 
                                                                                 r e s p o n s e ,   a n d   i n   w h i c h   f o r m a t   t h e y ' r e   r e t u r n e d ;   o n e   o f : 
 
                                                                                 -   n o n e :   l e a v e s   t h o u g h t s   u n p a r s e d   i n   ` m e s s a g e . c o n t e n t ` 
 
                                                                                 -   d e e p s e e k :   p u t s   t h o u g h t s   i n   ` m e s s a g e . r e a s o n i n g _ c o n t e n t ` 
 
                                                                                 -   d e e p s e e k - l e g a c y :   k e e p s   ` < t h i n k > `   t a g s   i n   ` m e s s a g e . c o n t e n t `   w h i l e 
 
                                                                                 a l s o   p o p u l a t i n g   ` m e s s a g e . r e a s o n i n g _ c o n t e n t ` 
 
                                                                                 ( d e f a u l t :   a u t o ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ T H I N K ) 
 
 - r e a ,     - - r e a s o n i n g   [ o n | o f f | a u t o ]                 U s e   r e a s o n i n g / t h i n k i n g   i n   t h e   c h a t   ( ' o n ' ,   ' o f f ' ,   o r   ' a u t o ' ,   d e f a u l t : 
 
                                                                                 ' a u t o '   ( d e t e c t   f r o m   t e m p l a t e ) ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ R E A S O N I N G ) 
 
 - - r e a s o n i n g - b u d g e t   N                                         t o k e n   b u d g e t   f o r   t h i n k i n g :   - 1   f o r   u n r e s t r i c t e d ,   0   f o r   i m m e d i a t e   e n d , 
 
                                                                                 N > 0   f o r   t o k e n   b u d g e t   ( d e f a u l t :   - 1 ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ T H I N K _ B U D G E T ) 
 
 - - r e a s o n i n g - b u d g e t - m e s s a g e   M E S S A G E             m e s s a g e   i n j e c t e d   b e f o r e   t h e   e n d - o f - t h i n k i n g   t a g   w h e n   r e a s o n i n g   b u d g e t 
 
                                                                                 i s   e x h a u s t e d   ( d e f a u l t :   n o n e ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ T H I N K _ B U D G E T _ M E S S A G E ) 
 
 - - c h a t - t e m p l a t e   J I N J A _ T E M P L A T E                     s e t   c u s t o m   j i n j a   c h a t   t e m p l a t e   ( d e f a u l t :   t e m p l a t e   t a k e n   f r o m   m o d e l ' s 
 
                                                                                 m e t a d a t a ) 
 
                                                                                 i f   s u f f i x / p r e f i x   a r e   s p e c i f i e d ,   t e m p l a t e   w i l l   b e   d i s a b l e d 
 
                                                                                 o n l y   c o m m o n l y   u s e d   t e m p l a t e s   a r e   a c c e p t e d   ( u n l e s s   - - j i n j a   i s   s e t 
 
                                                                                 b e f o r e   t h i s   f l a g ) : 
 
                                                                                 l i s t   o f   b u i l t - i n   t e m p l a t e s : 
 
                                                                                 b a i l i n g ,   b a i l i n g - t h i n k ,   b a i l i n g 2 ,   c h a t g l m 3 ,   c h a t g l m 4 ,   c h a t m l , 
 
                                                                                 c o m m a n d - r ,   d e e p s e e k ,   d e e p s e e k - o c r ,   d e e p s e e k 2 ,   d e e p s e e k 3 ,   e x a o n e - m o e , 
 
                                                                                 e x a o n e 3 ,   e x a o n e 4 ,   f a l c o n 3 ,   g e m m a ,   g i g a c h a t ,   g l m e d g e ,   g p t - o s s ,   g r a n i t e , 
 
                                                                                 g r a n i t e - 4 . 0 ,   g r o k - 2 ,   h u n y u a n - d e n s e ,   h u n y u a n - m o e ,   k i m i - k 2 ,   l l a m a 2 , 
 
                                                                                 l l a m a 2 - s y s ,   l l a m a 2 - s y s - b o s ,   l l a m a 2 - s y s - s t r i p ,   l l a m a 3 ,   l l a m a 4 ,   m e g r e z , 
 
                                                                                 m i n i c p m ,   m i s t r a l - v 1 ,   m i s t r a l - v 3 ,   m i s t r a l - v 3 - t e k k e n ,   m i s t r a l - v 7 , 
 
                                                                                 m i s t r a l - v 7 - t e k k e n ,   m o n a r c h ,   o p e n c h a t ,   o r i o n ,   p a n g u - e m b e d d e d ,   p h i 3 , 
 
                                                                                 p h i 4 ,   r w k v - w o r l d ,   s e e d _ o s s ,   s m o l v l m ,   s o l a r - o p e n ,   v i c u n a ,   v i c u n a - o r c a , 
 
                                                                                 y a n d e x ,   z e p h y r 
 
                                                                                 ( e n v :   L L A M A _ A R G _ C H A T _ T E M P L A T E ) 
 
 - - c h a t - t e m p l a t e - f i l e   J I N J A _ T E M P L A T E _ F I L E 
 
                                                                                 s e t   c u s t o m   j i n j a   c h a t   t e m p l a t e   f i l e   ( d e f a u l t :   t e m p l a t e   t a k e n   f r o m 
 
                                                                                 m o d e l ' s   m e t a d a t a ) 
 
                                                                                 i f   s u f f i x / p r e f i x   a r e   s p e c i f i e d ,   t e m p l a t e   w i l l   b e   d i s a b l e d 
 
                                                                                 o n l y   c o m m o n l y   u s e d   t e m p l a t e s   a r e   a c c e p t e d   ( u n l e s s   - - j i n j a   i s   s e t 
 
                                                                                 b e f o r e   t h i s   f l a g ) : 
 
                                                                                 l i s t   o f   b u i l t - i n   t e m p l a t e s : 
 
                                                                                 b a i l i n g ,   b a i l i n g - t h i n k ,   b a i l i n g 2 ,   c h a t g l m 3 ,   c h a t g l m 4 ,   c h a t m l , 
 
                                                                                 c o m m a n d - r ,   d e e p s e e k ,   d e e p s e e k - o c r ,   d e e p s e e k 2 ,   d e e p s e e k 3 ,   e x a o n e - m o e , 
 
                                                                                 e x a o n e 3 ,   e x a o n e 4 ,   f a l c o n 3 ,   g e m m a ,   g i g a c h a t ,   g l m e d g e ,   g p t - o s s ,   g r a n i t e , 
 
                                                                                 g r a n i t e - 4 . 0 ,   g r o k - 2 ,   h u n y u a n - d e n s e ,   h u n y u a n - m o e ,   k i m i - k 2 ,   l l a m a 2 , 
 
                                                                                 l l a m a 2 - s y s ,   l l a m a 2 - s y s - b o s ,   l l a m a 2 - s y s - s t r i p ,   l l a m a 3 ,   l l a m a 4 ,   m e g r e z , 
 
                                                                                 m i n i c p m ,   m i s t r a l - v 1 ,   m i s t r a l - v 3 ,   m i s t r a l - v 3 - t e k k e n ,   m i s t r a l - v 7 , 
 
                                                                                 m i s t r a l - v 7 - t e k k e n ,   m o n a r c h ,   o p e n c h a t ,   o r i o n ,   p a n g u - e m b e d d e d ,   p h i 3 , 
 
                                                                                 p h i 4 ,   r w k v - w o r l d ,   s e e d _ o s s ,   s m o l v l m ,   s o l a r - o p e n ,   v i c u n a ,   v i c u n a - o r c a , 
 
                                                                                 y a n d e x ,   z e p h y r 
 
                                                                                 ( e n v :   L L A M A _ A R G _ C H A T _ T E M P L A T E _ F I L E ) 
 
 - - s k i p - c h a t - p a r s i n g ,   - - n o - s k i p - c h a t - p a r s i n g 
 
                                                                                 f o r c e   a   p u r e   c o n t e n t   p a r s e r ,   e v e n   i f   a   J i n j a   t e m p l a t e   i s   s p e c i f i e d ; 
 
                                                                                 m o d e l   w i l l   o u t p u t   e v e r y t h i n g   i n   t h e   c o n t e n t   s e c t i o n ,   i n c l u d i n g   a n y 
 
                                                                                 r e a s o n i n g   a n d / o r   t o o l   c a l l s   ( d e f a u l t :   d i s a b l e d ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ S K I P _ C H A T _ P A R S I N G ) 
 
 - - p r e f i l l - a s s i s t a n t ,   - - n o - p r e f i l l - a s s i s t a n t 
 
                                                                                 w h e t h e r   t o   p r e f i l l   t h e   a s s i s t a n t ' s   r e s p o n s e   i f   t h e   l a s t   m e s s a g e   i s   a n 
 
                                                                                 a s s i s t a n t   m e s s a g e   ( d e f a u l t :   p r e f i l l   e n a b l e d ) 
 
                                                                                 w h e n   t h i s   f l a g   i s   s e t ,   i f   t h e   l a s t   m e s s a g e   i s   a n   a s s i s t a n t   m e s s a g e 
 
                                                                                 t h e n   i t   w i l l   b e   t r e a t e d   a s   a   f u l l   m e s s a g e   a n d   n o t   p r e f i l l e d 
 
                                                                                 
 
                                                                                 ( e n v :   L L A M A _ A R G _ P R E F I L L _ A S S I S T A N T ) 
 
 - s p s ,     - - s l o t - p r o m p t - s i m i l a r i t y   S I M I L A R I T Y 
 
                                                                                 h o w   m u c h   t h e   p r o m p t   o f   a   r e q u e s t   m u s t   m a t c h   t h e   p r o m p t   o f   a   s l o t   i n 
 
                                                                                 o r d e r   t o   u s e   t h a t   s l o t   ( d e f a u l t :   0 . 1 0 ,   0 . 0   =   d i s a b l e d ) 
 
 - - l o r a - i n i t - w i t h o u t - a p p l y                               l o a d   L o R A   a d a p t e r s   w i t h o u t   a p p l y i n g   t h e m   ( a p p l y   l a t e r   v i a   P O S T 
 
                                                                                 / l o r a - a d a p t e r s )   ( d e f a u l t :   d i s a b l e d ) 
 
 - - s l e e p - i d l e - s e c o n d s   S E C O N D S                         n u m b e r   o f   s e c o n d s   o f   i d l e n e s s   a f t e r   w h i c h   t h e   s e r v e r   w i l l   s l e e p 
 
                                                                                 ( d e f a u l t :   - 1 ;   - 1   =   d i s a b l e d ) 
 
 - t d ,       - - t h r e a d s - d r a f t   N                                 n u m b e r   o f   t h r e a d s   t o   u s e   d u r i n g   g e n e r a t i o n   ( d e f a u l t :   s a m e   a s 
 
                                                                                 - - t h r e a d s ) 
 
 - t b d ,     - - t h r e a d s - b a t c h - d r a f t   N                     n u m b e r   o f   t h r e a d s   t o   u s e   d u r i n g   b a t c h   a n d   p r o m p t   p r o c e s s i n g   ( d e f a u l t : 
 
                                                                                 s a m e   a s   - - t h r e a d s - d r a f t ) 
 
 - - d r a f t ,   - - d r a f t - n ,   - - d r a f t - m a x   N               n u m b e r   o f   t o k e n s   t o   d r a f t   f o r   s p e c u l a t i v e   d e c o d i n g   ( d e f a u l t :   1 6 ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ D R A F T _ M A X ) 
 
 - - d r a f t - m i n ,   - - d r a f t - n - m i n   N                         m i n i m u m   n u m b e r   o f   d r a f t   t o k e n s   t o   u s e   f o r   s p e c u l a t i v e   d e c o d i n g 
 
                                                                                 ( d e f a u l t :   0 ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ D R A F T _ M I N ) 
 
 - - d r a f t - p - m i n   P                                                   m i n i m u m   s p e c u l a t i v e   d e c o d i n g   p r o b a b i l i t y   ( g r e e d y )   ( d e f a u l t :   0 . 7 5 ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ D R A F T _ P _ M I N ) 
 
 - c d ,       - - c t x - s i z e - d r a f t   N                               s i z e   o f   t h e   p r o m p t   c o n t e x t   f o r   t h e   d r a f t   m o d e l   ( d e f a u l t :   0 ,   0   =   l o a d e d 
 
                                                                                 f r o m   m o d e l ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ C T X _ S I Z E _ D R A F T ) 
 
 - d e v d ,   - - d e v i c e - d r a f t   < d e v 1 , d e v 2 , . . >         c o m m a - s e p a r a t e d   l i s t   o f   d e v i c e s   t o   u s e   f o r   o f f l o a d i n g   t h e   d r a f t   m o d e l 
 
                                                                                 ( n o n e   =   d o n ' t   o f f l o a d ) 
 
                                                                                 u s e   - - l i s t - d e v i c e s   t o   s e e   a   l i s t   o f   a v a i l a b l e   d e v i c e s 
 
 - n g l d ,   - - g p u - l a y e r s - d r a f t ,   - - n - g p u - l a y e r s - d r a f t   N 
 
                                                                                 m a x .   n u m b e r   o f   d r a f t   m o d e l   l a y e r s   t o   s t o r e   i n   V R A M ,   e i t h e r   a n   e x a c t 
 
                                                                                 n u m b e r ,   ' a u t o ' ,   o r   ' a l l '   ( d e f a u l t :   a u t o ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ N _ G P U _ L A Y E R S _ D R A F T ) 
 
 - m d ,       - - m o d e l - d r a f t   F N A M E                             d r a f t   m o d e l   f o r   s p e c u l a t i v e   d e c o d i n g   ( d e f a u l t :   u n u s e d ) 
 
                                                                                 ( e n v :   L L A M A _ A R G _ M O D E L _ D R A F T ) 
 
 - - s p e c - r e p l a c e   T A R G E T   D R A F T                           t r a n s l a t e   t h e   s t r i n g   i n   T A R G E T   i n t o   D R A F T   i f   t h e   d r a f t   m o d e l   a n d   m a i n 
 
                                                                                 m o d e l   a r e   n o t   c o m p a t i b l e 
 
 - - s p e c - t y p e   [ n o n e | n g r a m - c a c h e | n g r a m - s i m p l e | n g r a m - m a p - k | n g r a m - m a p - k 4 v | n g r a m - m o d ] 
 
                                                                                 t y p e   o f   s p e c u l a t i v e   d e c o d i n g   t o   u s e   w h e n   n o   d r a f t   m o d e l   i s   p r o v i d e d 
 
                                                                                 ( d e f a u l t :   n o n e ) 
 
                                                                                 
 
                                                                                 ( e n v :   L L A M A _ A R G _ S P E C _ T Y P E ) 
 
 - - s p e c - n g r a m - s i z e - n   N                                       n g r a m   s i z e   N   f o r   n g r a m - s i m p l e / n g r a m - m a p   s p e c u l a t i v e   d e c o d i n g ,   l e n g t h 
 
                                                                                 o f   l o o k u p   n - g r a m   ( d e f a u l t :   1 2 ) 
 
 - - s p e c - n g r a m - s i z e - m   N                                       n g r a m   s i z e   M   f o r   n g r a m - s i m p l e / n g r a m - m a p   s p e c u l a t i v e   d e c o d i n g ,   l e n g t h 
 
                                                                                 o f   d r a f t   m - g r a m   ( d e f a u l t :   4 8 ) 
 
 - - s p e c - n g r a m - m i n - h i t s   N                                   m i n i m u m   h i t s   f o r   n g r a m - m a p   s p e c u l a t i v e   d e c o d i n g   ( d e f a u l t :   1 ) 
 
 - m v ,       - - m o d e l - v o c o d e r   F N A M E                         v o c o d e r   m o d e l   f o r   a u d i o   g e n e r a t i o n   ( d e f a u l t :   u n u s e d ) 
 
 - - t t s - u s e - g u i d e - t o k e n s                                     U s e   g u i d e   t o k e n s   t o   i m p r o v e   T T S   w o r d   r e c a l l 
 
 - - e m b d - g e m m a - d e f a u l t                                         u s e   d e f a u l t   E m b e d d i n g G e m m a   m o d e l   ( n o t e :   c a n   d o w n l o a d   w e i g h t s   f r o m   t h e 
 
                                                                                 i n t e r n e t ) 
 
 - - f i m - q w e n - 1 . 5 b - d e f a u l t                                   u s e   d e f a u l t   Q w e n   2 . 5   C o d e r   1 . 5 B   ( n o t e :   c a n   d o w n l o a d   w e i g h t s   f r o m   t h e 
 
                                                                                 i n t e r n e t ) 
 
 - - f i m - q w e n - 3 b - d e f a u l t                                       u s e   d e f a u l t   Q w e n   2 . 5   C o d e r   3 B   ( n o t e :   c a n   d o w n l o a d   w e i g h t s   f r o m   t h e 
 
                                                                                 i n t e r n e t ) 
 
 - - f i m - q w e n - 7 b - d e f a u l t                                       u s e   d e f a u l t   Q w e n   2 . 5   C o d e r   7 B   ( n o t e :   c a n   d o w n l o a d   w e i g h t s   f r o m   t h e 
 
                                                                                 i n t e r n e t ) 
 
 - - f i m - q w e n - 7 b - s p e c                                             u s e   Q w e n   2 . 5   C o d e r   7 B   +   0 . 5 B   d r a f t   f o r   s p e c u l a t i v e   d e c o d i n g   ( n o t e :   c a n 
 
                                                                                 d o w n l o a d   w e i g h t s   f r o m   t h e   i n t e r n e t ) 
 
 - - f i m - q w e n - 1 4 b - s p e c                                           u s e   Q w e n   2 . 5   C o d e r   1 4 B   +   0 . 5 B   d r a f t   f o r   s p e c u l a t i v e   d e c o d i n g   ( n o t e : 
 
                                                                                 c a n   d o w n l o a d   w e i g h t s   f r o m   t h e   i n t e r n e t ) 
 
 - - f i m - q w e n - 3 0 b - d e f a u l t                                     u s e   d e f a u l t   Q w e n   3   C o d e r   3 0 B   A 3 B   I n s t r u c t   ( n o t e :   c a n   d o w n l o a d   w e i g h t s 
 
                                                                                 f r o m   t h e   i n t e r n e t ) 
 
 - - g p t - o s s - 2 0 b - d e f a u l t                                       u s e   g p t - o s s - 2 0 b   ( n o t e :   c a n   d o w n l o a d   w e i g h t s   f r o m   t h e   i n t e r n e t ) 
 
 - - g p t - o s s - 1 2 0 b - d e f a u l t                                     u s e   g p t - o s s - 1 2 0 b   ( n o t e :   c a n   d o w n l o a d   w e i g h t s   f r o m   t h e   i n t e r n e t ) 
 
 - - v i s i o n - g e m m a - 4 b - d e f a u l t                               u s e   G e m m a   3   4 B   Q A T   ( n o t e :   c a n   d o w n l o a d   w e i g h t s   f r o m   t h e   i n t e r n e t ) 
 
 - - v i s i o n - g e m m a - 1 2 b - d e f a u l t                             u s e   G e m m a   3   1 2 B   Q A T   ( n o t e :   c a n   d o w n l o a d   w e i g h t s   f r o m   t h e   i n t e r n e t ) 
 
 