Энтропия Цаллиса




Главная
Новости
Статьи
Строительство
Ремонт
Дизайн и интерьер
Строительная теплофизика
Прочность сплавов
Основания и фундаменты
Осадочные породы
Прочность дорог
Минералогия глин
Краны башенные
Справочник токаря
Цементный бетон




19.04.2021


16.04.2021


15.04.2021


14.04.2021


14.04.2021


13.04.2021


11.04.2021





Яндекс.Метрика

Энтропия Цаллиса

26.01.2021


В статистической термодинамике энтропия Цаллиса — обобщение стандартной энтропии Больцмана—Гиббса, предложенное Константино Цаллисом (Constantino Tsallis) в 1988 г. для случая неэкстенсивных (неаддитивных) систем. Его гипотеза базируется на предположении, что сильное взаимодействие в термодинамически аномальной системе приводит к новым степеням свободы, к совершенно иной статистической физике небольцмановского типа.

Определение и основные сведения

Пусть P {displaystyle P} — распределение вероятностей и μ {displaystyle mu } — любая мера на X {displaystyle X} , для которой существует абсолютно непрерывная относительно μ {displaystyle mu } функция p = d P d μ {displaystyle p={frac {dP}{dmu }}} . Тогда энтропия Цаллиса определяется как

S q ( P ) = k q − 1 ( 1 − ∫ X p q d μ ) . {displaystyle S_{q}(P)={k over q-1}left(1-int limits _{X}^{}{p^{q}}dmu ight).}

В частности, для дискретной системы, находящейся в одном из N {displaystyle N} доступных состояний с распределением вероятностей P = { p i | i = 1 , 2 , . . . , N } {displaystyle P={p_{i},|,i=1,2,...,N}} ,

S q ( P ) = k q − 1 ( 1 − ∑ i = 1 N p i q ) {displaystyle S_{q}(P)={k over q-1}left(1-sum _{i=1}^{N}p_{i}^{q} ight)} .

В случае лебеговой меры μ = x {displaystyle mu =x} , т.е. когда P {displaystyle P} — непрерывное распределение с плотностью p ( x ) {displaystyle p(x)} , заданной на множестве X {displaystyle X} ,

S q ( P ) = k q − 1 ( 1 − ∫ X p q ( x ) d x ) {displaystyle S_{q}(P)={k over q-1}left(1-int limits _{X}^{}{p^{q}(x)}dx ight)} .

В этих формулах k {displaystyle k} — некоторая положительная константа, которая определяет единицу измерения энтропии и в физических формулах служит для связки размерностей, как, например, постоянная Больцмана. С точки зрения задачи оптимизации энтропии данная константа является несущественной, поэтому для простоты часто полагают k = 1 {displaystyle k=1} .

Параметр q {displaystyle q} — безразмерная величина ( q ∈ R {displaystyle qin R} ), которая характеризует степень неэкстенсивности (неаддитивности) рассматриваемой системы. В пределе при q → 1 {displaystyle q o 1} , энтропия Цаллиса сходится к энтропии Больцмана—Гиббса. При q > 0 {displaystyle q>0} энтропия Цаллиса является вогнутым функционалом от распределения вероятностей и, как обычная энтропия, достигает максимума при равномерном распределении. При q < 0 {displaystyle q<0} функционал является выпуклым и при равномерном распределении достигает минимума. Поэтому для поиска равновесного состояния изолированной системы при q > 0 {displaystyle q>0} энтропию Цаллиса нужно максимизировать, а при q < 0 {displaystyle q<0} — минимизировать. Значение параметра q = 0 {displaystyle q=0} — это вырожденный случай энтропии Цаллиса, когда она не зависит от P {displaystyle P} , а зависит лишь от μ ( X ) {displaystyle mu (X)} , т.е. от размера системы (от N {displaystyle N} в дискретном случае).

В непрерывном случае иногда требуют, чтобы носитель случайной величины X {displaystyle X} был безразмерным. Это обеспечивает корректность функционала энтропии с точки зрения размерности.

Исторически первыми выражение для энтропии Цаллиса (точнее, для частного её случая при k = q − 1 1 − 2 1 − q {displaystyle k={q-1 over 1-2^{1-q}}} ) получили Дж. Хаврда и Ф. Чарват (J. Havrda and F. Charvát) в 1967 г. Вместе с тем при q > 0 {displaystyle q>0} энтропия Цаллиса является частным случаем f-энтропии (при q < 0 {displaystyle q<0} f-энтропией является величина, противоположная энтропии Цаллиса).

Некоторые соотношения

Энтропия Цаллиса может быть получена из стандартной формулы для энтропии Больцмана—Гиббса путём замены используемой в ней функции ln ⁡ x {displaystyle ln x} на функцию

ln q ⁡ x = x q − 1 − 1 q − 1 {displaystyle ln _{q}x={x^{q-1}-1 over q-1}}

— так называемый q-деформированный логарифм или просто q-логарифм (в пределе при q → 1 {displaystyle q o 1} совпадающий с логарифмом). К. Цаллис использовал несколько иную формулу q-логарифма, которая сводится к приведённой здесь заменой параметра q {displaystyle q} на 2 − q {displaystyle 2-q} .

Ещё один способ получить энтропию Цаллиса основан на соотношении, справедливом для энтропии Больцмана—Гиббса:

S ( P ) = − k lim t → 1 d d t ∑ i = 1 N p i t {displaystyle S(P)=-klim _{t ightarrow 1}{frac {d}{dt}}sum _{i=1}^{N}p_{i}^{t}} .

Нетрудно видеть, что если заменить в этом выражении обычную производную на q-производную (известную также как производная Джексона), получается энтропия Цаллиса:

S q ( P ) = − k lim t → 1 ( d d t ) q ∑ i = 1 N p i t {displaystyle S_{q}(P)=-klim _{t ightarrow 1},left({frac {d}{dt}} ight)_{q}sum _{i=1}^{N}p_{i}^{t}} .

Аналогично для непрерывного случая:

S q ( P ) = − k lim t → 1 ( d d t ) q ∫ X p t ( x ) d x {displaystyle S_{q}(P)=-klim _{t ightarrow 1},left({frac {d}{dt}} ight)_{q}int limits _{X}^{}{p^{t}(x)}dx} .

Неэкстенсивность (неаддитивность)

Пусть имеются две независимых системы A {displaystyle A} и B {displaystyle B} , т.е. такие системы, что в дискретном случае совместная вероятность появления двух любых состояний a ∈ A {displaystyle ain A} и b ∈ B {displaystyle bin B} в этих системах равна произведению соответствующих вероятностей:

Prob ⁡ ( a , b ) = Prob ⁡ ( a ) Prob ⁡ ( b ) {displaystyle operatorname {Prob} (a,b)=operatorname {Prob} (a)operatorname {Prob} (b)} ,

а в непрерывном — совместная плотность распределения вероятностей равна произведению соответствующих плотностей:

p A B ( x , y ) = p A ( x ) p B ( y ) {displaystyle p_{AB}(x,y)=p_{A}(x)p_{B}(y)} ,

где x ∈ X {displaystyle xin X} , y ∈ Y {displaystyle yin Y} — области значений случайной величины в системах A {displaystyle A} и B {displaystyle B} соответственно.

В отличие от энтропии Больцмана—Гиббса и энтропии Реньи, энтропия Цаллиса, вообще говоря, не обладает аддитивностью, и для совокупности систем справедливо

S q ( A B ) = S q ( A ) + S q ( B ) + 1 − q k S q ( A ) S q ( B ) {displaystyle S_{q}(AB)=S_{q}(A)+S_{q}(B)+{1-q over k}S_{q}(A)S_{q}(B)} .

Поскольку условие аддитивности для энтропии имеет вид

S ( A B ) = S ( A ) + S ( B ) {displaystyle S(AB)=S(A)+S(B)} ,

отклонение параметра q {displaystyle q} от 1 {displaystyle 1} характеризует неэкстенсивность (неаддитивность) системы. Энтропия Цаллиса является экстенсивной только при q = 1 {displaystyle q=1} .

Дивергенция Цаллиса

Наряду с энтропией Цаллиса, рассматривают также семейство несимметричных мер расхождения (дивергенций) Цаллиса между распределениями вероятностей с общим носителем. Для двух дискретных распределений с вероятностями A = { a i } {displaystyle A={a_{i}}} и B = { b i } {displaystyle B={b_{i}}} , i = 1 , 2 , . . . , N {displaystyle i=1,2,...,N} , дивергенция Цаллиса определяется как

D q ( A , B ) = k q − 1 ( ∑ i = 1 N a i q b i 1 − q − 1 ) {displaystyle D_{q}(A,B)={k over q-1}left(sum _{i=1}^{N}a_{i}^{q}b_{i}^{1-q}-1 ight)} .

В непрерывном случае, если распределения A {displaystyle A} и B {displaystyle B} заданы плотностями a ( x ) {displaystyle a(x)} и b ( x ) {displaystyle b(x)} соответственно, где x ∈ X {displaystyle xin X} ,

D q ( A , B ) = k q − 1 ( ∫ X a q ( x ) b 1 − q ( x ) d x − 1 ) {displaystyle D_{q}(A,B)={k over q-1}left(int limits _{X}^{}{a^{q}(x)b^{1-q}(x)}dx-1 ight)} .

В отличие от энтропии Цаллиса, дивергенция Цаллиса определена при q > 0 {displaystyle q>0} . Несущественная положительная константа k {displaystyle k} в этих формулах, как и для энтропии, задаёт единицу измерения дивергенции и часто опускается (полагается равной 1 {displaystyle 1} ). Дивергенция Цаллиса является частным случаем α-дивергенции (с точностью до несущественной константы) и, как α-дивергенция, является выпуклой по обоим аргументам при всех q > 0 {displaystyle q>0} . Дивергенция Цаллиса также является частным случаем f-дивергенции.

Дивергенция Цаллиса может быть получена из формулы для дивергенции Кульбака—Лейблера путём подстановки в неё q-деформированного логарифма, определённого выше, вместо функции ln ⁡ x {displaystyle ln x} . В пределе при q → 1 {displaystyle q o 1} дивергенция Цаллиса сходится к дивергенции Кульбака—Лейблера.

Связь формализмов Реньи и Цаллиса

Энтропия Реньи и энтропия Цаллиса эквивалентны с точностью до монотонного преобразования, не зависящего от распределения состояний системы. То же касается соответствующих дивергенций. Рассмотрим, к примеру, энтропию Реньи для системы P {displaystyle P} с дискретным набором состояний { p i | i = 1 , 2 , . . . , N } {displaystyle {p_{i}|i=1,2,...,N}} :

S ~ q ( P ) = k ~ 1 − q ln ⁡ ∑ i = 1 N p i q {displaystyle {widetilde {S}}_{q}(P)={{widetilde {k}} over 1-q}ln sum _{i=1}^{N}p_{i}^{q}} , q ≥ 0 {displaystyle qgeq 0} .

Дивергенция Реньи для дискретных распределений с вероятностями A = { a i } {displaystyle A={a_{i}}} и B = { b i } {displaystyle B={b_{i}}} , i = 1 , 2 , . . . , N {displaystyle i=1,2,...,N} :

D ~ q ( A , B ) = k ~ q − 1 ln ⁡ ∑ i = 1 N a i q b i 1 − q {displaystyle {widetilde {D}}_{q}(A,B)={{widetilde {k}} over q-1}ln sum _{i=1}^{N}a_{i}^{q}b_{i}^{1-q}} , q > 0 {displaystyle q>0} .

В этих формулах положительная константа k ~ {displaystyle {widetilde {k}}} имеет тот же смысл, что и k {displaystyle k} в формализме Цаллиса.

Нетрудно видеть, что

S q ( P ) = T 2 − q ( S ~ q ( P ) ) {displaystyle S_{q}(P)=T_{2-q}({widetilde {S}}_{q}(P))} , D q ( A , B ) = T q ( D ~ q ( A , B ) ) {displaystyle D_{q}(A,B)=T_{q}({widetilde {D}}_{q}(A,B))} ,

где функция

T q ( x ) = k exp ⁡ ( x ( q − 1 ) / k ~ ) − 1 q − 1 {displaystyle T_{q}(x)=k{exp(x(q-1)/{widetilde {k}})-1 over q-1}}

определена на всей числовой оси и непрерывно возрастает по x {displaystyle x} (при q = 1 {displaystyle q=1} полагаем T q ( x ) = k k ~ x {displaystyle T_{q}(x)={k over {widetilde {k}}}x} ). Приведённые соотношения имеют место и в непрерывном случае.

Несмотря на наличие этой связи, следует помнить, что функционалы в формализмах Реньи и Цаллиса обладают разными свойствами:

  • энтропия Цаллиса, вообще говоря, не аддитивна, тогда как энтропия Реньи аддитивна при всех q > 0 {displaystyle q>0} ;
  • энтропия и дивергенция Цаллиса являются вогнутыми или выпуклыми (кроме q = 0 {displaystyle q=0} ), тогда как энтропия и дивергенция Реньи, вообще говоря, не обладают ни тем, ни другим свойством.